Eta中的Apache Flink示例

Apache Flink是一个大数据处理框架,允许程序员以非常有效和可扩展的方式处理大量数据。这是Eta中的一个简单的WordCount示例。Maven依赖文件中添加了maven依赖项

flink-java
并将
flink-clients
其添加到
eta-flink.cabal
文件中。
maven-depends:       org.apache.flink:flink-java:1.2.1, org.apache.flink:flink-clients_2.10:1.2.1

示例文本位于
input.txt
文件中。我们可以在控制台中看到Word Count的结果,并
output.txt
生成该结果。运行示例
  1. 启动终端并输入命令:

$ git clone https://github.com/Jyothsnasrinivas/eta-flink.git
$ cd eta-flink
$ etlas run
在控制台中注意到以下日志:
 
...
(1500s,1)
(1960s,1)
(an,1)
(and,3)
...
...
(to,1)
(unknown,1)
(versions,1)
(was,1)
(when,1)