hadoop分布式文件系统 挂载 hadoop分布式环境搭建

在安装之前需要先做好以下几点准备：
1.首先准备好三台虚拟机，每台虚拟机都已经安装好JDk环境。
2.确定每台虚拟机的网络连接正常。ssh免密配置完成。
3.确认自己主机的ip地址，主机名。
我的是 master 192.168.174.170
slave1 192.168.174.171
slave2 192.168.174.172
以上任何一点有问题，我的博客都有详细安装教程，供大家参考。
下面我们开始正式安装

1.创建hadoop安装目录

安装在哪自己随意，记住就好，我直接安装在根目录下，便于以后查找，在根目录下
输入命令：mkdir hadoop 注意空格。
然后查看是否创建成功
输入命令：ll

2.传输hadoop安装包

将hadoop安装包传进hadoop目录下，准备安装。使用xftp等软件都可以实现，实在不行用优盘，只要传进来就好。
我的安装包是： hadoop-2.8.5.tar.gz

3.在hadoop安装目录下执行解压操作

输入命令：tar -zxvf hadoop-2.8.5.tar.gz

4.配置hadoop配置文件

输入命令|：cd /hadoop/hadoop-2.8.5/etc/hadoop

输入命令：ll

我们可以看到一系列的配置文件。

5.修改配置文件。

在刚才的目录下（/hadoop/hadoop-2.8.5/etc/hadoop），执行以下五步。将一下各部分内容粘贴到相应配置文件的


这条语句中间就可以。

5.1修改hadoop-env.sh文件

输入命令：vi hadoop-env.sh

回车，按i键之后进入编辑状态，在文件中添加如下内容: export JAVA_HOME=/usr/local/jdk1.8

等号后面是你自己jdk的安装目录。位置不做要求，合适位置，别在#号后面就行。

5.2修改core-site.xml配置文件

首先在根目录下的hadoo下创建一个Hadoopdata文件夹，并在其中在创建一个tmp文件夹。用于代替系统默认的临时文件为夹，否则重启机器会报错，创建完成后
输入命令：vi core-site.xml
修改配置文件core-site.xml的 内容如下(实际修改不需要写中文注释)。

fs.default.name hdfs://192.168.174.170:9000 fs.defaultFS hdfs://master:9000 /**这个目录上咱们刚才创建好的 */ hadoop.tmp.dir /hadoop/hadoopdata/tmp store tmp file io.file.buffer.size 131072 hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *

5.3 修改配置文件hdfs-site.xml

在当前目录下 输入命令：vi hdfs-site.xml 添加以下内容

dfs.namenode.http-address
 master:50070


 dfs.namenode.secondary.http-address
 slave1:50090


 dfs.replication
 3


 dfs.name.dir
 /hadoop/hadoop-2.4.1/hdfs/name


 dfs.data.dir
 /hadoop/hadoop-2.4.1/hdfs/data


 dfs.namenode.checkpoint.dir
 /hadoop/hadoop-2.4.1/hdfs/namesecondary


 dfs.webhdfs.enabled
 true


 dfs.stream-buffer-size
 131072

5.4 修改mapred-site.xml文件

在当前目录下查看是否有配置文件mapred-site.xml。目录下默认情况下没有该文件，可通过执行如下命令：mv mapred-site.xml.template mapred-site.xml修改一个文件的命名（已有），然后执行编辑文件命令：vi mapred-site.xml并修改该文件内容

mapreduce.framework.name
 yarn


 mapreduce.jobhistory.address
 master:10020


 mapreduce.jobhistory.webapp.address
 master:19888

5.5修改yarn-site.xml配置文件

在当前目录下执行vi yarn-site.xml并修改配置文件内容如下

yarn.resourcemanager.hostname
 master


 yarn.nodemanager.aux-services
 mapreduce_shuffle


 yarn.nodemanager.aux-services.mapreduce.shuffle.class
 org.apache.hadoop.mapred.ShuffleHandler


 yarn.resourcemanager.address
 master:8032


 yarn.nodemanager.resource.memory-mb
 8192

6.修改环境变量配置文件

输入命令：vim /etc/profile

把hadoop的安装目录配置到环境变量中（已配）。添加标记的两句话

然后让配置文件生效:source /etc/profile。

7.修改文件slaves

在/hadoop/hadoop-2.8.5/etc/hadoop下修改文件slaves
命令：cd /hadoop/hadoop-2.8.5/etc/hadoop
输入命令：vi slaves
在其中添加如下内容（三行）
master
slave1
slave2

8.发送到其datanode节点（slave1和slave2）

进入到hadoop目录下（cd /hadoop）需要将hadoop目录分别远程拷贝到slave1和slave2上
输入命令：scp –r hadoop-2.8.5/ slave1:/hadoop/ 注意slave1前有个空格
输入命令：scp –r hadoop-2.8.5/ slave2:/hadoop/

9.格式化namenode。在master目录下执行如下命令进行格式化

输入命令：hdfs namenode -format

10.启动hadoop

输入命令：start-all.sh。

11.测试

输入命令：jps

查看各节点状态。

master的当前进程包含以下几个：

slave1（同slave2）的当前进程包含以下几个：