CDH5.12.0 如何升级到Spark2.0 版本

标签(空格分隔): 大数据平台构建


  • 一: CDH5.12.0 的spark2.0 的概述:
  • 二: 如何在CDH5.12.0 上面 升级spark2.0
  • 三: 在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发

一: CDH5.12.0 的spark2.0 的概述:

在CDH5.12.0集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本,均告成功。这里做一下安装spark2.1版本的步骤记录。

Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库)
从cloudera的官网可以下载相关的parcel 的离线安装包
:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

关于cdh5.12.0 安装 组件版本的一些介绍

Cloudera Manager及5.12.0版本的介绍:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section

二: 如何在CDH5.12.0 上面 升级spark2.0

2.1 : 安装之前的准备

所需软件:
http://archive.cloudera.com/spark2/csd/

image_1cdpfmepb2khdtb1tmg1v5f1ts59.png-221.5kB

Parcels 包的下载地址:
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

image_1cdpfn9831qfe61v1pbd1bvecefm.png-511.2kB

2.2: cdh5.12.0 配置spark2.0 步骤

2.2.1:cdh5.12.0 控制节点:

mkdir -p /opt/cloudera/csd/
上传文件:
SPARK2_ON_YARN-2.2.0.cloudera1.jar 到 /opt/cloudera/csd/下面:

chown -R cloudera-scm:cloudera-scm /opt/cloudera

image_1cdpfpvsm1fihf4f16hs1fjh1p7s13.png-122.4kB

上传文件: 
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 
到/opt/cloudera/parcel-repo/ 

执行命令:

chown -R cloudera-scm:cloudera-scm /opt/cloudera
去掉 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 后面的1 

mv SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha

重启 cdh5.12.0 上面的 server 端与所有的agent 端

cd /opt/cloudera-manager/cm-5.12.0/etc/init.d
./cloudera-scm-server restart

./cloudera-scm-agent restart  (所有的agent节点)

三:在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发

打开CDH5.12.0 CM 界面

image_1cdpg2kv61u38tgrpfh1l0b109i1g.png-204.5kB

点击分配

image_1cdpg2vfdtf09t71l1fls81mg1t.png-181.7kB

image_1cdpg763trpe15dd1f7b1nkk15fu2n.png-211.8kB

点击激活

image_1cdpg7neum8k1hn71h1ce71jcf34.png-88.4kB

确定

image_1cdpg8ed8169m1pr4dcc12ehr493h.png-135.8kB

image_1cdpg8pc41lhv1c7120dd201tdm3u.png-56.2kB

一直分配到激活

image_1cdpg9eo1vo58rln9opug1mri4b.png-234kB

点击添加服务:

image_1cdpganr5gb2bqh136a3hueb04o.png-367kB

找到spark2  添加spark2 

选择一组依赖关系:

image_1cdpgc06harh1afsh591pb1rnv55.png-115kB

选择分配角色:

image_1cdpgcmekiv9t7sg9a171qla65i.png-114.3kB

为主机添加角色:

image_1cdpgdped18afcrm138kqpd1i4k5v.png-153.3kB

image_1cdpge30e1p481nno8ut52e5r26c.png-180.2kB

部署 spark2  然后启动spark2 

image_1cdpgenlk5kce7dig916vk5d46p.png-231.6kB

image_1cdpgf311bm11tl030ab16nt376.png-103.7kB

image_1cdpgfdce1g6b1j6f5ja1lf4134g7j.png-483.3kB