文章目录
安装
下载安装包
https://www.apache.org/dyn/closer.lua/flink/flink-1.7.0/flink-1.7.0-bin-scala_2.11.tgz
上传linux上解压,并且分发到其他机器上
Flink三种运行方式：Local、Standalone、On Yarn
standalone 模式
修改 flink/conf/flink-conf.yaml 文件
jobmanager.rpc.address: note01
修改 /conf/slave文件
note02
note03
进入到flink的bin目录下启动集群启动脚本
[root@note01 bin]# ./start-cluster.sh
发现flink没有启动,到log下查看日志
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/flink/runtime/entrypoint/StandaloneSessionClusterEntrypoint : Unsupported major.minor version 52.0
自己装的是jdk1.7,修改1.8就好了
进入主节点:http://note01:8081
提交任务
准备测试数据
1,2,a,rvc
as,a,1,2
1,2,a,rvc
as,a,1,2
a,a
把含数据文件的文件夹，分发到taskmanage 机器中
由于读取数据是从本地磁盘读取，实际任务会被分发到taskmanage的机器中，所以要把目标文件分发。
执行程序
./flink run -c WordCount /tmp/zyd/flink-1.0-SNAPSHOT.jar --input /tmp/zyd/wc.txt --output /tmp/zyd/r1
页面提交jar(一般都是命令,方便shell调度)
页面参数.依次是主类,分区数,输入args的参数,保存数据路径类似于spark中的checkPoint,方便程序关闭后开启
