【Ubuntu】Ubuntu下的hadoop伪分布式安装

JDK的安装

解压至home目录:tar -zxvf jdk-8u161-linux-x64.tar.gz -C /home/
重命名:mv jdk1.8.0_161/ java
配置环境变量:vi /etc/profile

export JAVA_HOME=/home/java
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

使环境变量生效
source /etc/profile
测试是否安装成功:java -version

配置文件的修改

将hadoop安装包解压至指定目录
tar -zxvf hadoop-2.7.1_64bit.tar.gz -C /home/
重命名:mv hadoop-2.7.1/ hadoop
配置环境变量

export HADOOP_HOME=/home/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

使环境变量生效
source /etc/profile

测试是否安装成功:hadoop version

在hadoop根目录下创建几个文件夹

mkdir tmp
mkdir -p hdfs/name
mkdir hdfs/data

修改hadoop-env.sh

修改yarn-env.sh

修改core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
</property>

修改hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>/home/hadoop/hdfs/data</value>
    </property>

修改mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>

修改yarn-site.xml

     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
     </property>

启动与测试

初始化namenode:bin/hadoop namenode -format
开启节点:sbin/start-all.sh
查看进程:jps

查看WEBUI

俩个端口都可以访问就算成功