实验内容与完成情况:
一,安装hadoop
(1)创建hadoop1用户
1创建新用户(sudo useradd -m hadoop -s /bin/bash)
2为新创建的用户设置密码(sudo passwd hadoop)
3为新创建的用户增加管理员权限(sudo adduser hadoop sudo)进入新创建的用户
(2)安装ssh,配置ssh无密码登录
1更新apt(sudo apt-get update)并下载文本编辑器vim(sudo apr-get install vim)
2安装SSH server(sudo apt-get install openssh-server)
3配置ssh无密码登录
(3)安装java环境
1在官网上下载jdk安装包到/usr/local目录
2解压jdk
3编辑环境变量(输入sudo vim ~./bashrc),输入以下四行带有export的变量,java_home后面跟的是jdk的安装路径
4保存并退出(先按esc退出编辑模式,再输入:wq退出)
5输入source ~/.bashrc使文件生效
6检测java是否安装成功(输入java -version)如显示以下信息则安装成功,其中1.8.0-251是版本信息
(4)安装hadoop
1在官网上下载hadoop安装包到“/下载”目录
2 解压(这里解压不输入任何信息,当课可以看到你的用户名之后就解压完成了)其中~/下载/hadoop-3.2.1.tar.gz是hadoop的下载路径及hadoop的问价夹得名称
3修改hadoop得名称,找到hadoop的解压路径,可以看见解压后的hadoop,然后对他进行名称修改
4 修改hadoop权限
5进入hadoop,输入以下命令检测是否安装成功,如显示以下信息则安装成功
(5)hadoop伪分布配置(文件在hadoop/etc/hadoop目录下)
1修改配置文件core-site.xml
2修改配置文件hdfs-site.xml
3执行NamoNode格式化(在hadoop目录下输入 ./bin/hdfs namenode -format)
![如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME,还是出现 Error: JAVA_HOME is not set and could not be found. 的错误,那么,请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。]
4输入./sbin/start-dfs.sh开启namenode和datanode守护进(如果要再一次第三步namenode格式化必须要先停止第四步的守护进程,输入./sbin/stop-dfs.sh)
5输入jps看第第四步是否启动成功(看是否输出namenode,datanode和secondarynamenode)