最近练习了一下Hadoop的配置安装,以免自己有给忘了,写个博客备个案
我的路径:/opt/software
注意路径位置。
1.vim /etc/hostname修改主机名,重启后修改成功
2.添加域名映射
3.停用防火墙
4.设置三台虚拟机相互免密登录(先找到登录密钥,将密钥分别复制到3台虚拟机),三台虚拟机都要弄一遍
5.测试免密登录成功没有
6.查看jdk安装情况,(如果没有安装,现将jdk的rpm包传到相应文件夹运用rpm -ivh解压安装,javac查看安装成功没有
7.查看jdk安装路径(如果jdk版本比我的高,请自行查看网址=的安装路径查看方式)
8.在/etc/profile文件里设置JDK环境变量
9.执行:source /etc/profile,让配置生效
10.传入Hadoop到文件夹解压安装,执行:tar -zxvf hadoop-3.0.0-alpha4.tar.gz
11.进入Hadoop3.2.0/etc/hadoop查看文件
12.进入profile文件配置Hadoop环境变量,使其生效
创建HDFS存储目录
cd /opt/software/hadoop3.2.0(hadoop目录下)
mkdir hdfs
cd hdfs
mkdir name data tmp
/usr/hadoop/hdfs/name --存储namenode文件
/usr/hadoop/hdfs/data --存储数据
/usr/hadoop/hdfs/tmp --存储临时文件
13.进入Hadoop目录修改文件
(1)编写hadoop-env.sh
使其生效
(2)编辑core-site.xml
hadoop.tmp.dir
/opt/software/hadoop-3.2.0/tmp(文件夹不要写错)
fs.defaultFS
hdfs://hadoop1:9000(主机名)
(3)编辑hdfs-site.xml
dfs.replication
3
dfs.name.dir
/opt/software/hadoop-3.2.0/hdfs/name
dfs.data.dir
/opt/software/hadoop-3.2.0/hdfs/data
dfs.permissions
false
(4)编辑yarn-site.xml
yarn.resourcemanager.hostname
cmaster
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.vmem-check-enbled
false
(5)编辑mapred-site.xml
mapreduce.framework.name
yarn
(6)配置workers文件(相当于hadoop2.x里的slaves文件)
14.在start-dfs.sh和stop-dfs.sh的最前面添加四行代码
HDFS_DATANODE_USER=root
HDFS_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
15.在start-yarn.sh和stop-yarn.sh的最前面添加量行代码
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
最后创建tmp文件夹
类似的,配置其它两台虚拟机的hadoop。将Hadoop目录远程拷贝过去就行了16.启动三台虚拟机的hadoop
(1)格式化主节点名称空间
[root@cmaster ~]# hdfs namenode -format
出现successfully则格式化成功
(2)在主节点上启动start-all.sh
各节点jps出现就成功了