环境说明:
cdh版本:cdh6.3.2

组件版本信息如下:

组件

版本

Cloudera Manager

6.3.1

Flume

1.9.0+cdh6.3.2

Hadoop

3.0.0+cdh6.3.2

HBase

2.1.0+cdh6.3.2

Hive

2.1.1+cdh6.3.2

Hue

4.2.0+cdh6.3.2

Impala

3.2.0+cdh6.3.2

Kafka

2.2.1+cdh6.3.2

Solr

7.4.0+cdh6.3.2

spark

2.4.0+cdh6.3.2

Sqoop

1.4.7+cdh6.3.2

ZooKeeper

3.4.5+cdh6.3.2

一.下载flink,并制作parcel包

1.相关资源下载

1.1) flink下载地址: https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.12.tgz 1.2) parcel制作工具：https://github.com/pkeropen/flink-parcel.git 1.3) cm验证工具:https://github.com/cloudera/cm_ext.git

说明: 需要用到maven,unzip,确保已安装并配置mvn环境变量,我这里linux可以访问外网,正常企业集群服务器是不能连接外网的,需要提前下载上面的两个工具和flink.或者在可连外网的服务器生成parcel和csd jar后再上传cdh集群服务器

2.制作parcel

将flink-parcel下载到linux上:

cdh监控flink on yarn cdh安装flink集群_github

可以看到红色框起来的文件及文件夹,给build.sh添加执行权限

第一步:修改配置

修改flink-parcel.properties为以下内容:
#flink版本号
FLINK_VERSION=1.12.0

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

第二步:上传安装包和cm验证工具,修改脚本并执行parcel生成脚本

cd /soft/flink-parcel/

#执行脚本时会在github上下载工具,有时候连接不上github会导致脚本报错,我是提前将cm_ext和flink-1.12.0-bin-scala_2.12.tgz下载好,并放在/soft/flink-parcel/目录下
文件夹名得改成图片一样.

即上面截图中的蓝色框框中的部分

./build.sh parcel
执行完成之后会生成FLINK-1.12.0-BIN-SCALA_2.12_build目录:
里面就包含了三个文件:
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel.sha
manifest.json

./build.sh csd_on_yarn
执行完回生成FLINK_ON_YARN-1.12.0.jar文件

二.安装flink

1. 方式一,制作yum源,配置parcel远程仓库

cd /var/www/html

mkdir flink1.12.0
cp /soft/flink-parcel/FLINK-1.12.0-BIN-SCALA_2.12_build/* flink1.12.0/
cd flink1.12.0
createrepo .
cd /etc/yum.repo.d
vim flink.repo
#添加以下内容,并保存退出
[flink]
name=flink,Version 1.12.0
baseurl=http://192.168.127.111/flink1.12.0/
enable=1
gpgcheck=0

2.添加flink远程库

cdh监控flink on yarn cdh安装flink集群_cdh监控flink on yarn_02

3.方式二parcel包放入本地仓库文件夹并修改用户和组

cd /opt/cloudera/parcel-repo
mv manifest.json manifest.json.bak
cp /var/www/html/flink1.12.0/FLINK.* /var/www/html/flink1.12.0/manifest.json ./
chown cloudera-scm. ./*

cdh监控flink on yarn cdh安装flink集群_cdh监控flink on yarn_03

4.将jar包放入csd文件夹,并修改用户和组

cp /soft/flink-parcel/FLINK_ON_YARN-1.12.0.jar /opt/cloudera/csd/
cd /opt/cloudera/csd/
chown cloudera-scm. FLINK_ON_YARN-1.12.0.jar

cdh监控flink on yarn cdh安装flink集群_cdh监控flink on yarn_04

4.并分发激活

下载分发

cdh监控flink on yarn cdh安装flink集群_cdh监控flink on yarn_05

点击激活按钮,显示已激活

cdh监控flink on yarn cdh安装flink集群_flink_06

5.安装flink

添加服务中选择添加flink

cdh监控flink on yarn cdh安装flink集群_cloudera_07

cdh监控flink on yarn cdh安装flink集群_cloudera_08

测试flink:

cdh监控flink on yarn cdh安装flink集群_cloudera_09

每个人都在奋不顾身，都在加倍努力，得过且过只会让你和别人的差距越来越大...