第一步:在虚拟机上安装hadoop环境
使用XFTP工具,将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。
第二步:解压hadoop
命令:cd /opt
tar -zxvf hadoop******* -C /usr/local/ 解压hadoop压缩包到 /usr/local/ 路径下
解压成功以后看一下local下面的所有文件
第三步:删除解压包里面的doc文档
安装包在local文件夹下,需要继续进入hadoop-2.6.0-cdh5.7.0/这个路径下的share/路径下找到doc文档,进行删除操作。
第四步:更改配置文件1——写入JDK绝对路径
1.找到jdk的绝对路径进行hadoop配置文件的更改
进入hadoop安装包
进入配置文件的位置
修改配置文件hadoop-env.sh 命令:vim hadoop-env.sh
第五步:更改配置文件2——写入namenode地址
更改文件core-site.xml确定namenode位置
fs.defaultFS
hdfs://slave:9999(这个位置是写namenode的IP地址和端口号)
hadoop.tmp.dir
/usr/local/hadoop-2.6.0-cdh5.7.0/etc(这个位置是写hadoop文件路径)
第五步:更改配置文件3——配置副本数量
修改hdfs-site.xml
dfs.replication
1(此处为副本数量)
第六步:配置hadoop环境变量
首先找到hadoop安装的路径进行复制
去修改环境变量的配置文件
命令:vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_144/
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=JAVA_HOME/bin:HADOOP_HOME/sbin
这里一定要将bin和sbin两个命令文件都进行配置。运行修改后的文件,并测试hadoop命令是否可以运行
命令:source etc/profile
hadoop
第七步:格式化namenode,并生成序列化文件
命令:hadoop namenode -format
格式化后查看
命令:ll
生成tmp文件,里面会有序列化文件。
第八步:配置datanode
命令:cd cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim slaves
因为是伪分布,默认localhost,不需要更改。第九步:启动hdfs
命令:cd /usr/local/hadoop-2.6.0-cdh5.7.0/sbin
start-dfs.sh jps
一共运行的有四个服务。namenode和datanode启动。
第九步:打开可视化HDFS界面
在浏览器中输入网址:192.168.66.101:50070 (IP为虚拟机IP,端口号固定使用默认)
注意:如果打不开,可以去看一下是否因为防火墙没关闭导致的。
一条命令输错了,请自动屏蔽掉!只看划红线的就可以了。
搭建HDFS成功!!!