Hadoop伪分布式环境搭建 hadoop伪分布式安装搭建步骤

Hadoop安装

• 一.打开MobaXterm（前提：把虚拟机要打开）
• 二.输入`cd software`来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示
• 三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压，然后回车一顿解压

• 解压完成后，可以输入`ll`查看当前文件，有一个hadoop-2.6.0-cdh5.14.2，说明解压成功

• 四.但名字太长，我们可以将它改个名字

• 输入 `mv hadoop-2.6.0-cdh5.14.2 hadoop`，然后回车，输入ll,可以查看一下名字是否改成功
• 输入 `rm -f hadoop-2.6.0-cdh5.14.2.tar.gz`，然后回车，把tar.gz文件删掉

• 五.输入`cd hadoop`，进入hadoop目录下，

• 再输入`cd etc/hadoop`,进入etc目录下的hadoop目录

• 六.输入`vi hadoop-env.sh`，然后回车，进入配置文件，找到`export JAVA_HOME=${JAVA_HOME}`,将这一行注释掉，也就是在前面输入一个#号

• 在下一行接着输入`export JAVA_HOME=/root/software/jdk1.8.0_221`
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件
• (`/root/software/jdk1.8.0_221`是我的jdk所在目录，如果小伙伴萌不知道的话，可以新打开一个窗口，输入`echo $JAVA_HOME`，回车之后就可以看到自己jdk所在目录，直接复制过来就可)

• 七.输入`vi core-site.xml`，然后回车进入配置文件

• 找到``标签，在这两个标签中间输入以下代码（这里我的虚拟机名是hadoop22，大家根据自己的来输入）
• 效果图如下所示
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件

• 八.输入`vi hdfs-site.xml`，然后回车进入配置文件

• 找到``标签，在这两个标签中间输入以下代码
• 效果图如下所示
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件

• 九.输入`vi mapred-site.xml.template`，然后回车进入配置文件

• 找到``标签，在这两个标签中间输入以下代码
• 效果图如下所示
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件

• 十.输入` mv mapred-site.xml.template mapred-site.xml`，修改一下名字

• 然后输入`vi yarn-site.xml`，然后回车进入配置文件
• 找到``标签，在这两个标签中间输入以下代码（温馨提示：这里我的虚拟机名是hadoop22，大家根据自己的来输入）
• 效果图如下所示
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件

• 十一.输入`vi /etc/profile`，配置环境变量

• 找到 `export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin`语句，在它下方输入如下代码，最后一行代码在原来的基础上修改即可（温馨提示：这里我的hadoop目录在root目录下的software下，大家根据自己的来输入）
• 效果图如下所示
• 输完以后，按ESC键保存，然后输入`:x`或者`:wq` 退出配置文件

• 十二.配置文件都已经修改好

• 输入`source /etc/profile`,然后回车
• 输入 `hdfs namenode -format`，进行格式化，然后回车，等待片刻，如果status为0则没有错误

• 十三.输入`cd ../..`，回到software目录下的hadoop

• 然后输入`ll`,发现目录下多了一个tmp文件，这就是我们刚刚建好的文件

• 十四.输入`start-all.sh`，启动hadoop，然后回车，等待片刻，遇到需要回答的问题，输入yes，然后回车
• 十五.输入`jps`，然后回车

• 会出现以下六个文件
• （没有的话说明前面出错了，输入`tail -200f logs/hadoop-root-namenode-hadoop22.log`查对应的日志的方法找自己的错误）

• 十六.这时候我们就可以通过前台去访问hadoop的页面了

• 打开浏览器，输入`192.168.83.22:50070`,然后回车就访问到hadoop页面了

一.打开MobaXterm（前提：把虚拟机要打开）

二.输入cd software来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示

三.输入tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz对hadoop安装包进行解压，然后回车一顿解压

解压完成后，可以输入ll查看当前文件，有一个hadoop-2.6.0-cdh5.14.2，说明解压成功

四.但名字太长，我们可以将它改个名字

输入 mv hadoop-2.6.0-cdh5.14.2 hadoop，然后回车，输入ll,可以查看一下名字是否改成功

输入 rm -f hadoop-2.6.0-cdh5.14.2.tar.gz，然后回车，把tar.gz文件删掉

五.输入cd hadoop，进入hadoop目录下，

再输入cd etc/hadoop,进入etc目录下的hadoop目录

六.输入vi hadoop-env.sh，然后回车，进入配置文件，找到export JAVA_HOME=${JAVA_HOME},将这一行注释掉，也就是在前面输入一个#号

在下一行接着输入export JAVA_HOME=/root/software/jdk1.8.0_221

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

(/root/software/jdk1.8.0_221是我的jdk所在目录，如果小伙伴萌不知道的话，可以新打开一个窗口，输入echo $JAVA_HOME，回车之后就可以看到自己jdk所在目录，直接复制过来就可)

七.输入vi core-site.xml，然后回车进入配置文件

找到标签，在这两个标签中间输入以下代码（这里我的虚拟机名是hadoop22，大家根据自己的来输入）

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop22:9000</value>
</property>
<!-- 配置临时文件所在目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/hadoop/tmp</value>
</property>
<!-- 以下可配可不配，如果配集群则必须要配 -->
<!-- 任意主机的任意用户都可以访问，root用户的任意组都可以访问 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

效果图如下所示

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

八.输入vi hdfs-site.xml，然后回车进入配置文件

找到标签，在这两个标签中间输入以下代码

<!-- 配伪分布式的数据备份数目 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

效果图如下所示

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

九.输入vi mapred-site.xml.template，然后回车进入配置文件

找到标签，在这两个标签中间输入以下代码

<!-- 配置用yarn来管理mapreduce-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

效果图如下所示

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

十.输入mv mapred-site.xml.template mapred-site.xml，修改一下名字

然后输入vi yarn-site.xml，然后回车进入配置文件

找到标签，在这两个标签中间输入以下代码（温馨提示：这里我的虚拟机名是hadoop22，大家根据自己的来输入）

<!-- reducer获取数据方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop22</value>
</property>

效果图如下所示

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

十一.输入vi /etc/profile，配置环境变量

找到 export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin语句，在它下方输入如下代码，最后一行代码在原来的基础上修改即可（温馨提示：这里我的hadoop目录在root目录下的software下，大家根据自己的来输入）

export HADOOP_HOME=/root/software/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

效果图如下所示

输完以后，按ESC键保存，然后输入:x或者:wq 退出配置文件

十二.配置文件都已经修改好

输入source /etc/profile,然后回车

输入 hdfs namenode -format，进行格式化，然后回车，等待片刻，如果status为0则没有错误

十三.输入cd ../..，回到software目录下的hadoop

然后输入ll,发现目录下多了一个tmp文件，这就是我们刚刚建好的文件

十四.输入start-all.sh，启动hadoop，然后回车，等待片刻，遇到需要回答的问题，输入yes，然后回车

十五.输入jps，然后回车

会出现以下六个文件

（没有的话说明前面出错了，输入tail -200f logs/hadoop-root-namenode-hadoop22.log查对应的日志的方法找自己的错误）

十六.这时候我们就可以通过前台去访问hadoop的页面了

打开浏览器，输入192.168.83.22:50070,然后回车就访问到hadoop页面了