目录
不论是哪种方式,安装Flink前需要安装好JDK,假设已经安装好JDK1.8。
单机版
在192.168.128.111上安装。
1、下载
flink有两个版本,一个版本是和hadoop捆绑的,另一个是单独的,我们以单独的为例:
flink-1.9.3-bin-scala_2.11.tgz
2、解压
tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/
解压到/opt/目录下
3、配置环境
打开配置文件:
vi /etc/profile
配置内容如下:
# Flink
export FLINK_HOME=/opt/flink-1.9.3
export PATH=$FLINK_HOME/bin:$PATH
保存配置:
source /etc/profile
4、启动Flink
执行
start-cluster.sh
jps查看是否启动成功:
5、查看管理页面
6、运行一个example
(1)打开第一个窗口:
监听8888端口:
nc -lk 8888
如果没有安装nc,执行如下命令安装:
yum install -y nc
(2)打开第二个窗口
进入flink安装目录,启动单词统计的java程序 SocketWindowWordCount,并监听8888端口
flink run examples/streaming/SocketWindowWordCount.jar --port 8888
(3)打开第三个窗口
进入flink安装目录下的log目录,查看统计结果:
tail -f flink-root-taskexecutor-0-bigdata111.out
7、停止运行
执行stop-cluster.sh命令即可停止运行集群
Standalone Cluster
a fully distributed fashion on a static (but possibly heterogeneous) cluster
集群分配:
192.168.128.111,bigdata111(master)
192.168.128.112,bigdata112(worker)
192.168.128.113,bigdata113(worker)
在安装前,每台机器需要安装JDK,假设已经安装好。
1、master安装
配置Flink安装目录下的conf/flink-conf.yaml
默认如下:
jobmanager.rpc.address: localhost
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
修改为:
jobmanager.rpc.address: bigdata111
conf/slaves
默认如下:
localhost
修改为:
bigdata112
bigdata113
2、worker安装
将配置好的master复制到worker中,保存目录相同。使用如下命令拷贝即可:
scp -r flink-1.9.3 root@bigdata112:/opt/
scp -r flink-1.9.3 root@bigdata113:/opt/
3、启动集群
在master节点上执行start-cluster.sh命令启动集群。然后jps查看各节点启动情况,如图:
4、停止集群
执行stop-cluster.sh命令即可,如图:
Yarn Cluster