cdh spark 安装配置 cdh安装部署

转载

mob6454cc7945bd 2023-08-18 22:27:04

前期准备

1 . 关闭防火墙service iptables stop(所有节点)
SELINUX关闭(所有节点)
vi /etc/selinux/config(SELINUX=disabled)

cdh spark 安装配置 cdh安装部署_hadoop

• chkconfig
• python
• bind-utils
• psmisc
• libxslt
• zlib
• sqlite
• cyrus-sasl-plain
• cyrus-sasl-gssapi
• fuse fuse-libs
• redhat-lsb

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
complete下载成功,否则请重现安装,若安装速度过慢或无法下载,尝试更改下载源

cdh spark 安装配置 cdh安装部署_大数据_02

4.1 部署为集群的每台节点的opt目录下创建cloudera-manager文件夹:mkdir /opt/cloudera-manager
4.2 在cloudera-manager文件夹下 , 部署为集群的每台节点都需要上传安装包并解压tar -zvxf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz (你可以选择解压后删除安装包,比较占磁盘空间)

cdh spark 安装配置 cdh安装部署_大数据_03

首先 , 要想好哪些服务器节点规划为Agent , 我是把所有 node01 , node02 , node03 都作为Agent , 其中node01同时作为server
部署为Agent的每台节点 , 都修改cm-5.4.3解压文件夹中的config.ini文件 , 指定服务端
vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

cdh spark 安装配置 cdh安装部署_cdh spark 安装配置_04

7.1 把mysql的驱动jar包拷贝到指定为server端的服务器节点中的usr目录下的share目录下的java目录下 , 如果目录不存在请自己手动创建 .
cd /usr/share/java/

cdh spark 安装配置 cdh安装部署_hadoop_05

7.2 把jar包名称改为mysql-connector-java.jar, 不改会出错 , 年轻人不要问为什么 , 我不知道 …
7.3 授权
7.3.1 进入mysqlmysql -uroot -p123456 7.3.2 使用mysql表use mysql;
7.3.3 授权grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，
将这两个文件放到server节点的/opt/cloudera/parcel-repo下。
打开manifest.json文件，里面是json格式的配置，找到与下载版本(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel)相对应的hash码，
新建文件，文件名与你的parel包名(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel)一致，并加上.sha后缀，将hash码复制到文件中保存。

cdh spark 安装配置 cdh安装部署_cloudera_06

server节点启动server端:./cloudera-scm-server start (Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装)
查看日志打印:tail -f /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log
Agent节点启动:./cloudera-scm-agent start
注意日志:tail -f /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log 打印如下信息后即成功

cdh spark 安装配置 cdh安装部署_hadoop_07

1 . 浏览器登陆
[serer节点ip]:[7180]访问
账号密码都是adming
2 . 根据需要选择版本
3 . 该版本可供选择的服务
- 4 . 选择集群的服务节点 [新机选项中可以添加服务节点,后续也可以添加 , 无碍]
5 . 选择版本
6 . 等待下载分配解压缩激活
此时Linux系统Server服务器节点/opt/cloudera/parcels目录下自动部署了CDH-5.4.0-1.cdh5.4.0.p0.27文件夹
7 . 等待检查
8 . 出现了问题 , 按提示解决吧 . . . . . .

- 8 . 1 :出现了如下的问题 , 没事 , 有快照 , 头铁着上 !

- 8 . 2 :按照提示, 我先探一下提示所说的文件vim /proc/sys/vm/swappiness
- 8 . 3 :文件存在,按提示修改为0

- 8 . 4: 不让改 …

- 8 .5: 输出重定向覆盖 , 改了 . . .

- 8 . 6: 按提示把剩下的node02 node03 节点都修改一下

- 8 . 7 :重新运行一下

- 8 . 8 :没毛病