Ambari-2.7.3.0+HDP-3.1.0.0安装部署
一、安装环境准备
安装前先安装好 Centos7,jdk-8u91, mysql5.7.13
二、虚拟机系统环境准备
1.修改主机名 vim /etc/hosts
2.配置免密登录
使用公司免密登录小脚本
具体使用操作 cat README
3.java环境设置
a.先查看原来是否有 which java
b.rm -rf (原来的)c.上传jar包,解压
d.配置JAVA_HOME vim /etc/profile
e.source /etc/profilef.测试是否配置成功 可用jps 命令测试(未设置前jps是无法使用的)
4.防火墙设置
关闭防火墙:systemctl stop firewalld.service
设置开机不启动:systemctl disable firewalld.service
查看防火墙服务是否设置开机启动:systemctl is-enabled firewalld.service
5.开启NTP服务
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
- 关闭SELinux
查看SELinux状态:
sestatus
如果SELinux status参数为enabled即为开启状态
SELinux status: enabled
临时关闭,不用重启机器:
setenforce 0
修改配置文件需要重启机器:
vi /etc/sysconfig/selinux
SELINUX=disabled
7.制作本地源
a.安装 Apache HTTP 服务器
安装HTTP 服务器,允许 http 服务通过防火墙(永久)
yum install httpd
firewall-cmd --add-service=http(暂时开启防火墙 然后再关闭)
firewall-cmd --permanent --add-service=http
添加 Apache 服务到系统层使其随系统自动启动
systemctl start httpd.service
systemctl enable httpd.service
b.安装本地源制作相关工具
yum install yum-utils createrepoc.下载安装资源
ambari-2.7.3.0-centos7.tar.gz
HDP-3.1.0.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
d.解压资源修改配置
cd /var/www/html中添加 ambari文件
mkdir ambari
将下载的安装资源上传到该目录,解压
tar -zxvf ambari-2.7.3.0-centos7.tar.gz
tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz
解压后,修改俩个配置文件
vim ambari.repo
cd /var/www/html/ambari/HDP/centos7/3.1.0.0-78
vim /hdp.repo
e.将修改的俩个配置文件拷贝到 /etc/yum.repos.d/中
scp -r ambari.repo /etc/yum.repos.d/
scp -r hdp.repo /etc/yum.repos.d/
执行以下操作
yum clean all
yum list update
yum makecache
yum repolist
f.验证httd网站是否可用,可以使用浏览器直接访问下面的地址:
http://172.16.150.160/ambari/
8.安装Mysql数据库
具体安装流程可参考:
a.下载mysql的repo源
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
b.安装mysql57-community-release-el7-8.noarch.rpm包
rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps --force
注:安装这个包后,会获得两个mysql的yum repo源:/etc/yum.repos.d/mysql-community.repo,/etc/yum.repos.d/mysql-community-source.repo
c.安装mysql
yum install mysql-server
d.启动mysql服务
查看状态:service mysqld status
启动:service mysqld start
e.重置密码
MySQL5.7会在安装后为root用户生成一个随机的密码,而不是像以往版本的空密码。
可以安全模式修改root登录密码或者用随机的密码登录修改密码。下面用随机的密码方式
MySQL为root用户生成的随机的密码通过mysqld.log文件可以查找到:
grep ‘temporary password’ /var/log/mysqld.log
修改root用户密码:(MySQL的密码策略比较复杂,过于简单的密码会被拒绝)
mysql -u root -p
mysql> Enter password: (输入刚才查询到的随机的密码)
mysql> SET PASSWORD FOR ‘root’@‘localhost’= “Root-123”;
mysql> exit
用root新密码登录:
mysql -u root -pRoot-123
如果上面的方式不能修改可以使用下面安全模式修改root:
关闭服务
systemctl stop mysqld.service
vi /etc/my.cnf
mysqld下面添加skip-grant-tables 保存退出启动服务
systemctl start mysqld.service
mysql -u root 不用密码直接回车
use mysql
update user set authentication_string=password(‘Root-123’) where User=‘root’ and Host=‘localhost’;
flush privileges;
exit;
vi /etc/my.cnf 把 skip-grant-tables 一句删除保存退出重启mysql服务
systemctl restart mysqld.service
再次登录即可
mysql -u root -pRoot-123
如果进行操作出现下面的提示:
You must reset your password using ALTER USER statement before executing this statement.
就再设置一遍密码
set password = password(‘Root-123’);
f.开放3306端口
允许使用用户名root密码Root-123456从任何主机连接到mysql服务器
mysql>GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘Root-123456’ WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;
mysql>exit;
开启防火墙mysql 3306端口的外部访问(暂时开启防火墙,再关闭)
firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --reload
安装完成后创建ambari数据库及用户,登录root用户执行下面语句:
安装完成后创建ambari数据库及用户,登录root用户执行下面语句:
create database ambari character set utf8 ;
CREATE USER ‘ambari’@’%‘IDENTIFIED BY ‘Ambari-123’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@’%’;
FLUSH PRIVILEGES;
如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句:
create database hive character set utf8 ;
CREATE USER ‘hive’@’%‘IDENTIFIED BY ‘Hive-123’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@’%’;
FLUSH PRIVILEGES;
如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句:
create database oozie character set utf8 ;
CREATE USER ‘oozie’@’%‘IDENTIFIED BY ‘Oozie-123’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@’%’;
FLUSH PRIVILEGES;
g.安装mysql jdbc 驱动
yum install mysql-connector-java
三、进行安装ambari
1.安装Ambari
yum install ambari-server
2.配置Ambari
ambari-server setup
Passwd:Ambari-123
回车是默认,也可自己手动输入
如果上面选择3自定义JDK,则需要设置JAVA_HOME。
输入:/usr/java/jdk1.8.0_211
配置成功!
3.将Ambari数据库脚本导入到数据库
用Ambari用户(上面设置的用户)登录mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.启动Amabri
执行启动命令,启动Ambari服务
ambari-server start
成功启动后在浏览器输入Ambari地址:
http://172.16.150.160:8080/#/login
账号密码:admin/admin
四、ambari添加节点与服务
1.安装集群,设置集群名称 HDP
2.设置HDP 安装源(忘记截图了)
选择本地配置的源:yum.repo.d中配置的地址
只配置redhot7:
http://172.16.150.160/ambari/HDP/centos7/3.1.0.0-78/ http://172.16.150.160/ambari/HDP-UTILS/centos7/1.1.0.22/
3.添加节点与ssh私钥文件
node160
node161
node162
ssh私钥文件存放位置:id_rsa 下载到本地上传即可
[root@node160 ~]# cd .ssh/
[root@node160 .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
4.Host 确认
确认前面配置集群中hosts列表 中的机器是否都可用,也可以移除相关机器,集群中机器Success后进行下一步操作
5.选择要安装的服务
6.默认服务节点分配即可
7.自定义服务时:注意 根据提示 先进行如下操作(注意路径是否正确) 再继续
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
8.开始安装(过程有点慢,耐心等待)
9.安装完成:各项服务正常启动运行
五、总结
安装过程中,可能会出现一些问题,尽可能的多查看日志获取具体问题。基本操作如上所述,后续安装服务有些图忘记截屏未能上传,请见谅,如有疑问,可私信我,共同学习进步。知无不言言无不尽。