CDH6.3.2 集成flink的部署配置

标签(空格分隔): 大数据平台构建


  • 一:flink的简介
  • 二:cdh6.3.2 集成flink

一:flink的简介

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行

在 2019 年 10 月于柏林举行的 Flink Forward 活动上,Cloudera 的工程主管 Marton Balassi 和 Field CTO Andrew Psaltis 在大会上宣布,Cloudera 承诺将通过 CSA 产品不断给 Apache Flink 社区做出贡献。

相信 Cloudera 对 Apache Flink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验

二:CDH6.3.2 集成flink

介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子,以下是测试环境信息:

1.CM和CDH版本为6.3.2

2.CentOS7.5x64

3.JDK1.8.0_181

4.集群启用Kerberos

5.root用户安装

flink 的parcels 包下载地址:

https://archive.cloudera.com/csa/1.0.0.0

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel  
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha  

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

manifest.json

image.png-26.6kB

mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/

chown cloudera-scm:cloudera-scm -R csd/ -R
cd ..

mv flink /var/wwww/html/

service cloudera-scm-server restart 
service httpd start 

image.png-29.1kB

CM 增加 parcels 文件  然后从新启动CM

image.png-71.2kB

image.png-132kB


image.png-107.3kB

image.png-89.4kB

image.png-132.9kB

image.png-120.8kB


image.png-100.5kB

第一个Flink例子

1.执行Flink自带的example的wordcount例子。

hdfs dfs -put word.txt /tmp

flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.11.160:8020/tmp/word.txt --output hdfs://192.168.11.160:8020/tmp/result4

image.png-32kB