Hadoop的安装和配置


一、Hadoop基础环境的配置

.1.1、前置操作:使我所创建的普通用户获得管理员权限操作方法如下:

(1)切换到管理员用户

(2)打开/etc/sudoers

命令1:chmod u+w /etc/sudoers 命令2:vim /etc/sudoers 或者从图形界面打开/etc/sudoers

复制第98行:root ALL=(ALL) ALL

在第99行复制并更改用户名:krystal(改成自己的用户名) ALL=(ALL) ALL

(3)被认可的用户使用特权命令时,需要在特权命令前加上sudo

1.2、基础网络环境**

(1)配置网络联通

在图形界面中,打开网络连接的有线设置->齿轮->ipv4->地址选择手动,填写网络信息就可以了。但是网络信息必须符合网络规则(编辑中有虚拟网络编辑器)

在命令行中:

cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop

最后,重启网络

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_02


(2)配置网络地址与主机名的对应关系

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_03


将此文件内容全部删除,更改为你的当前操作主机的主机名

在最后新建一行,添加以下内容
IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3
(3)关闭防火墙
查看防火墙状态

关闭防火墙

查看服务开启启动项列表

设置防火墙开机不自动启动

1.3、免密登录

生成公私钥

Ssh-keygen -t rsa

打开用户目录下的.ssh目录

cdh的hadoop安装包在哪 hadoop安装详细步骤_Hadoop_04


将公钥文件拷贝成authorized_keys

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_05


验证

Ssh 本节点主机名,若无需输入密码可直接登录则设置成功

1.4、jdk安装

复制jdk文件(.tar.gz格式)到用户目录下

在此目录下新建java目录,将安装包移动到该目录下解压

Tar zxvf 压缩包名

解压后为了方便后期操作,将解压后目录名重命名为jdk(使用mv改名)

打开并编辑用户目录下的.\bashrc文件

cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_06


在正文的后面添加以下内容

cdh的hadoop安装包在哪 hadoop安装详细步骤_主机名_07

保存退出

让该文件立即生效

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_08


cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_09

使用java -version命令验证

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_10


如果显示版本号与安装版本号相同,则证明安装成功了

二、hadoop的安装

首先将hadoop安装包复制到用户目录下,新建hadoop目录。将安装包移动到该目录下解压。

将解压完成后的目录(hadoop-2.6.2)改名为hadoop(为了方便)

cdh的hadoop安装包在哪 hadoop安装详细步骤_主机名_11


将hadoop根目录下的bin目录和sbin目录路径加入到PATH中

更改~/.bashrc文件如下

cdh的hadoop安装包在哪 hadoop安装详细步骤_主机名_12


cdh的hadoop安装包在哪 hadoop安装详细步骤_主机名_13


改完后,执行source命令令其立即生效

使用hadoop version验证是否成功

三、hadoop的配置

3.1、在$HADOOP_HOME/etc/hadoop/目录下

需要配置以下文件

Hadoop-env.sh

cdh的hadoop安装包在哪 hadoop安装详细步骤_Hadoop_14


cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_15


Yarn-env.sh

cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_16


cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_17

Core-site.xml
在configuration标签中添加以下变量和值

cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_18


cdh的hadoop安装包在哪 hadoop安装详细步骤_cdh的hadoop安装包在哪_19

Hdfs-site.xml

cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_20


cdh的hadoop安装包在哪 hadoop安装详细步骤_Hadoop_21

在此文件中写明所有从节点的节点名,一行一个(如果为伪分布式部署,则默认localhost即可,无需更改)

3.2格式化并启动hadoop

hadoop namenode -format

cdh的hadoop安装包在哪 hadoop安装详细步骤_hadoop_22


start-all.sh

cdh的hadoop安装包在哪 hadoop安装详细步骤_主机名_23


3.3根据运行日志定位问题点