目录

单机版

Standalone Cluster

Yarn Cluster


        不论是哪种方式,安装Flink前需要安装好JDK,假设已经安装好JDK1.8。

单机版

在192.168.128.111上安装。

1、下载

flink有两个版本,一个版本是和hadoop捆绑的,另一个是单独的,我们以单独的为例:

flink-1.9.3-bin-scala_2.11.tgz

2、解压

tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/
解压到/opt/目录下

Linux安装Flink_Linux

3、配置环境

打开配置文件:

vi /etc/profile

配置内容如下:

# Flink
export FLINK_HOME=/opt/flink-1.9.3
export PATH=$FLINK_HOME/bin:$PATH

保存配置:

source /etc/profile

4、启动Flink

执行

start-cluster.sh

jps查看是否启动成功:

Linux安装Flink_Linux_02

5、查看管理页面

http://ip地址:8081

Linux安装Flink_Linux_03

6、运行一个example

(1)打开第一个窗口:

监听8888端口:

 nc -lk 8888

如果没有安装nc,执行如下命令安装:

yum install -y nc
Linux安装Flink_Flink_04

(2)打开第二个窗口

进入flink安装目录,启动单词统计的java程序 SocketWindowWordCount,并监听8888端口

flink run examples/streaming/SocketWindowWordCount.jar --port 8888

Linux安装Flink_Flink_05

(3)打开第三个窗口

进入flink安装目录下的log目录,查看统计结果:

tail -f flink-root-taskexecutor-0-bigdata111.out

Linux安装Flink_Linux_06

7、停止运行

执行stop-cluster.sh命令即可停止运行集群

 

Standalone Cluster

fully distributed fashion on a static (but possibly heterogeneous) cluster

集群分配:

192.168.128.111,bigdata111(master)

192.168.128.112,bigdata112(worker)

192.168.128.113,bigdata113(worker)

在安装前,每台机器需要安装JDK,假设已经安装好。

1、master安装

配置Flink安装目录下的conf/flink-conf.yaml

默认如下:

jobmanager.rpc.address: localhost

jobmanager.heap.size: 1024m

taskmanager.heap.size: 1024m

修改为:

jobmanager.rpc.address: bigdata111

 

conf/slaves

默认如下:

localhost

修改为:

bigdata112

bigdata113

 

2、worker安装

将配置好的master复制到worker中,保存目录相同。使用如下命令拷贝即可:

scp -r flink-1.9.3 root@bigdata112:/opt/

scp -r flink-1.9.3 root@bigdata113:/opt/

 

3、启动集群

在master节点上执行start-cluster.sh命令启动集群。然后jps查看各节点启动情况,如图:

Linux安装Flink_Linux_07

Linux安装Flink_Linux_08

Linux安装Flink_Flink_09

4、停止集群

执行stop-cluster.sh命令即可,如图:

Linux安装Flink_Linux_10

 

Yarn Cluster