实验内容与完成情况:

一,安装hadoop

(1)创建hadoop1用户

1创建新用户(sudo useradd -m hadoop -s /bin/bash)

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装

2为新创建的用户设置密码(sudo passwd hadoop)

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop_02

3为新创建的用户增加管理员权限(sudo adduser hadoop sudo)进入新创建的用户

hadoop ubuntu14 安装 ubuntu下安装hadoop_java_03

(2)安装ssh,配置ssh无密码登录
1更新apt(sudo apt-get update)并下载文本编辑器vim(sudo apr-get install vim)

hadoop ubuntu14 安装 ubuntu下安装hadoop_java_04

hadoop ubuntu14 安装 ubuntu下安装hadoop_大数据_05


hadoop ubuntu14 安装 ubuntu下安装hadoop_java_06

2安装SSH server(sudo apt-get install openssh-server)

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop_07

3配置ssh无密码登录

hadoop ubuntu14 安装 ubuntu下安装hadoop_java_08

(3)安装java环境

1在官网上下载jdk安装包到/usr/local目录

2解压jdk

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装_09

3编辑环境变量(输入sudo vim ~./bashrc),输入以下四行带有export的变量,java_home后面跟的是jdk的安装路径

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装_10

4保存并退出(先按esc退出编辑模式,再输入:wq退出)

5输入source ~/.bashrc使文件生效

6检测java是否安装成功(输入java -version)如显示以下信息则安装成功,其中1.8.0-251是版本信息

hadoop ubuntu14 安装 ubuntu下安装hadoop_大数据_11

(4)安装hadoop

1在官网上下载hadoop安装包到“/下载”目录

2 解压(这里解压不输入任何信息,当课可以看到你的用户名之后就解压完成了)其中~/下载/hadoop-3.2.1.tar.gz是hadoop的下载路径及hadoop的问价夹得名称

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装_12


3修改hadoop得名称,找到hadoop的解压路径,可以看见解压后的hadoop,然后对他进行名称修改

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop_13


4 修改hadoop权限

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装_14

5进入hadoop,输入以下命令检测是否安装成功,如显示以下信息则安装成功

hadoop ubuntu14 安装 ubuntu下安装hadoop_hadoop ubuntu14 安装_15

(5)hadoop伪分布配置(文件在hadoop/etc/hadoop目录下)

1修改配置文件core-site.xml

hadoop ubuntu14 安装 ubuntu下安装hadoop_linux_16

2修改配置文件hdfs-site.xml

hadoop ubuntu14 安装 ubuntu下安装hadoop_java_17

3执行NamoNode格式化(在hadoop目录下输入 ./bin/hdfs namenode -format)
![如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME,还是出现 Error: JAVA_HOME is not set and could not be found. 的错误,那么,请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。]

4输入./sbin/start-dfs.sh开启namenode和datanode守护进(如果要再一次第三步namenode格式化必须要先停止第四步的守护进程,输入./sbin/stop-dfs.sh)

hadoop ubuntu14 安装 ubuntu下安装hadoop_大数据_18


5输入jps看第第四步是否启动成功(看是否输出namenode,datanode和secondarynamenode)

hadoop ubuntu14 安装 ubuntu下安装hadoop_java_19