Hadoop云化 华为云 hadoop

• 💌 所属专栏：【大数据学习笔记（华为云）】
• 😀 作  者：我是夜阑的狗🐶
• 🚀 个人简介：一个正在努力学技术的码仔，专注基础和实战分享 ，欢迎咨询！

文章目录

• 前言
• 1. 购买云ECS主机
• 2. 开发环境

• step1 创建hadoop用户
• step2 更新apt
• step3 安装最新版本的Java
• step4 配置SSH无密码登陆节点

• 3. 安装Hadoop

• step1 下载
• step2 解压
• step3 配置Hadoop环境

• 4. Hadoop集群

• step1 $JAVA_HOME配置
• step2 core-site.xml配置
• step3 hdfs-site.xml配置
• step4 mapred-site.xml配置
• step5 yarn-site.xml配置
• step6 启动结点
• step7 结束结点

• 5.总结

---

前言

  大家好，又见面了，我是夜阑的狗，本文是专栏【大数据学习笔记（华为云）】专栏的第1篇文章，主要讲解是华为云hadoop伪分布式的安装。
  专栏地址：【大数据学习笔记（华为云）】， 此专栏是我是夜阑的狗对华为云hadoop的使用，希望能够加深自己的印象，以及帮助到其他的小伙伴😉😉。
  如果文章有什么需要改进的地方还请大佬不吝赐教👏👏。

---

1. 购买云ECS主机

  这里购买华为云ECS主机: 华为云购买链接.

2. 开发环境

step1 创建hadoop用户

  购买好华为云服务器之后，这里用putty对云服务器进行连接

创建用户：

sudo useradd -m hadoop -s /bin/bash

设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

hadoop 用户增加管理员权限，方便部署：

sudo adduser hadoop sudo

用hadoop用户登录

su - hadoop                          #切换当前用户为用户hadoop

step2 更新apt

由于Ubuntu的一些特性，需要随时更新一下apt，不然有时候软件安装不了

sudo apt-get update

step3 安装最新版本的Java

更新软件列表

sudo apt-get update

安装 openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

查看Java版本，如下：

java -version

安装好 OpenJDK 后，需要找到相应的安装路径

update-alternatives --config java

我们输出的路径为

/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java

其中，绝对路径为

/usr/lib/jvm/java-8-openjdk-amd64

接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

sudo vi /etc/profile 在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为绝对路径，并保存：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让该环境变量生效

source /etc/profile

设置好后我们来检验一下是否设置正确：

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

step4 配置SSH无密码登陆节点

现在检查您是否可以在没有密码的情况下通过 ssh 连接到本地主机：

$ ssh localhost

如果没有密码就无法 ssh 到 localhost，请执行以下命令：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
  $ chmod 0600 ~/.ssh/authorized_keys

3. 安装Hadoop

step1 下载

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz

step2 解压

sudo tar -zxvf hadoop-3.3.0-aarch64.tar.gz -C /usr/local/
cd /usr/local
sudo mv  hadoop-3.3.0    hadoop #重命名为hadoop
sudo chown -R hadoop ./hadoop                        #修改文件权限

step3 配置Hadoop环境

给hadoop配置环境变量，将下面代码添加到.bashrc文件:

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

同样，执行source ~/.bashrc使设置生效，并查看hadoop是否安装成功

source ~/.bashrc

4. Hadoop集群

step1 $JAVA_HOME配置

hadoop-env.sh和yarn-env.sh两个文件

step2 core-site.xml配置

etc/hadoop/core-site.xml:

<configuration>
	<property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

step3 hdfs-site.xml配置

etc/hadoop/hdfs-site.xml：

注意：这里xxx可以填写localhost

<configuration>
	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>xxx:9001</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

</configuration>

step4 mapred-site.xml配置

etc/hadoop/mapred-site.xml：

注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>xxx:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>xxx:19888</value>
        </property>
</configuration>

step5 yarn-site.xml配置

etc/hadoop/yarn-site.xml：

注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>xxx:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>xxx:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>xxx:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>xxx:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>xxx:8088</value>
        </property>
</configuration>

step6 启动结点

start-all.sh

浏览Web界面 - http://localhost:9870/

遇到问题：结点挂载上去了，但是web页面访问不了
解决方法：本人使用的华为云，需要在华为云控制台修改一下安全组，把hadoop要用TCP协议的端口添加进去，这里我把全部端口进行设置开放。

访问结果：

step7 结束结点

sbin/stop-all.sh

5.总结

感谢观看，如果有帮助到你，请给文章点个赞和收藏，让更多的人看到。🌹 🌹 🌹

也欢迎你，关注我。👍 👍 👍

原创不易，还希望各位大佬支持一下，你们的点赞、收藏和留言对我真的很重要！！！💕 💕 💕 最后，本文仍有许多不足之处，欢迎各位认真读完文章的小伙伴们随时私信交流、批评指正！