flink local集群部署

标签（空格分隔）： flink系列

  • 一：flink 介绍
  • 二：flink 运行模式
  • 三：flink local集群部署

一：flink 介绍

1.1: flink 介绍

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

1.2 Apache Flink® - 数据流上的有状态计算

image_1eis9m31k12231np49b16c01vq89.png-311.9kB

二：flink 集群部署

2.1 安装jdk (所有节点都要安装)

安装：jdk  

rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

vim /etc/profile 

----
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
----

java -version

image_1eisa6ftl1pqs1sevrf6nqv4oem.png-66.4kB

2.2 安装flink

下载地址：
http://archive.apache.org/dist/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz

tar -zxvf flink-1.11.2-bin-scala_2.12.tgz

mv flink-1.11.2 /usr/local/flink

cd /usr/local/flink/conf
cp -p flink-conf.yaml flink-conf.yaml.bak

vim flink-conf.yaml

-----
jobmanager.rpc.address: rc01bigdata.vpc.uniondrug.com
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 10
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8381
rest.port: 8381
env.java.opts: -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -XX:+HeapDumpOnOutOfMemoryError
env.java.home: /usr/java/jdk1.8.0_141-cloudera
classloader.resolve-order: parent-first
env.ssh.opts: -p 36022       ### 产线的SSH 端口号
------

image_1eisak2458ji1j9104o1koi1sa1j.png-115.6kB

vim masters
----
rc01bigdata.vpc.uniondrug.com:8381
----

image_1eisanh0caql1ongtbo1jjd189720.png-25.8kB

vim works
---
rc02bigdata.vpc.uniondrug.com
rc03bigdata.vpc.uniondrug.com
rc04bigdata.vpc.uniondrug.com
---

image_1eisao5uh1gmq1fka5qlu7haj72d.png-40.7kB

cd /usr/local/
tar -zcvf flink.tar.gz flink
scp -P36022 flink.tar.gz root@rc02bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc03bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc04bigdata.vpc.uniondrug.com:/usr/local/


分别在每台works机器上面 解压 flink.tar.gz 包

cd /usr/local/

tar -zxvf flink.tar.gz 

在flink master 的节点上面执行启动flink集群
 
 cd /usr/local/flink
 bin/start-cluster.sh

image_1eisbf1quapeamb1s8q1qvpp72q.png-174.3kB

image_1eisbk4ou3co146m1gtg18v611l937.png-204.4kB

执行一个wordcount 

./bin/flink run examples/batch/WordCount.jar

image_1eisbnsmd603pk1g4cjm4199g3k.png-150.9kB