Ambari的Hadoop集群

转载

mob6454cc770d06 2024-09-13 13:29:03

文章标签 Ambari的Hadoop集群大数据运维数据库 centos 文章分类 Hadoop 大数据

环境：

服务器：4台服务器 CentOS 6.5 ip分别为55（Master，唯一能访问外网） 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密，具体可查看CentOS 配置集群机器之间SSH免密码登录，其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为：.ssh/a....,路径最好补全，否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

httpd服务，服务根目录是 /var/www/html
vi /etctpd/conftpd.conf
启用ServerName：把 #ServerName www.example.com:80 修改为 ServerName hostname:80
修改访问权限：
将<Directory>标签下的内容替换为

<Directory />
   Options FollowSymLinks
   AllowOverride None
   Order allow,deny
   Allow from all
</Directory>

service httpd restart，重启httpd的服务让修改后的文件生效

通过浏览器访问页面如果出现以下页面就说明服务启动成功了

Ambari的Hadoop集群_数据库

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari，HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见（应该还有Ambari的repo,此图不完整）

Ambari的Hadoop集群_centos_02

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件，以HDP-UTILS-1.1.0.21（约5.2G），HDP-2.7.0.3（约800M），Ambari命名（约1.5G），三个语句都依赖于网络，且速度比较慢，可以用两台机器同时同步，最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp，hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源，存放于紧跟其后的目录下，生成repodata一个文件。

Ambari的Hadoop集群_数据库_03

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

Ambari的Hadoop集群_centos_04

安装

yum install ambari-server

长时间等待后，安装成功

Ambari的Hadoop集群_centos_05

2.配置

键入如下命令进入配置引导环节

ambari-server setup

如果还没有关闭SELinux，执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”，选择y。
提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户，也可选y自定义，这里选n
选择自动安装JDK可以选择1.8 ，他会自动下一个jdk并集成进来。
“Enter advanced database configuration” 直接选择n，会使用一个默认的PostgreSQL 数据库来存储，自动建立用户名密码为ambari/bigdata的账号，也可选择y 然后自己指定一个数据库

3.启动Ambari