• 1.首先来配置SSH免密码登陆

• 2.测试登录成功,创建完成

hadoop java 文件操作 hadoop运行java_hadoop

• 3.创建安装目录

hadoop java 文件操作 hadoop运行java_大数据_02

• 4.安装jdk

tar -xzvf /data/hadoop/jdk-8u161-linux-x64.tar.gz -C /apps

其中,tar -xzvf 对文件进行解压缩,-C 指定解压后,将文件放到/apps目录下。
切换到/apps目录下,我们可以看到目录下内容如下:

cd /apps/
ls -l

下面将jdk1.8.0_161目录重命名为java,执行:

mv /apps/jdk1.8.0_161/ /apps/java

系统环境变量或用户环境变量。我们在这里修改用户环境变量。

sudo leafpad ~/.bashrc

输入上面的命令,打开存储环境变量的文件。在文件末尾空几行,将java的环境变量,追加进用户环境变量中。

#java
export JAVA_HOME=/apps/java
export PATH=$JAVA_HOME/bin:$PATH

保存并关闭编辑器
让环境变量生效。

source ~/.bashrc

执行source命令,让java环境变量生效。执行完毕后,可以输入java,来测试环境变量是否配置正确。如果出现下面界面,则正常运行。

java -version

• 5.Hadoop安装
切换到/data/hadoop目录下,将hadoop-3.0.0.tar.gz解压缩到/apps目录下。

tar -xzvf /data/hadoop/hadoop-3.0.0.tar.gz -C /apps/

为了便于操作,我们也将hadoop-3.0.0重命名为hadoop。

mv /apps/hadoop-3.0.0/ /apps/hadoop

• 6.修改用户环境变量
将hadoop的路径添加到path中。先打开用户环境变量文件。

sudo leafpad ~/.bashrc

将以下内容追加到环境变量~/.bashrc文件中。

#hadoop
export HADOOP_HOME=/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

让环境变量生效。

source ~/.bashrc

验证hadoop环境变量配置是否正常

hadoop version

安装成功
• 7.下面来修改hadoop本身相关的配置
首先切换到hadoop配置目录下。

1	cd /apps/hadoop/etc/hadoop

• 8.配置hadoop-env.sh
输入leafpad /apps/hadoop/etc/hadoop/hadoop-env.sh,打开hadoop-env.sh配置文件。

1	leafpad /apps/hadoop/etc/hadoop/hadoop-env.sh

将下面JAVA_HOME追加到hadoop-env.sh文件中。

1	export JAVA_HOME=/apps/java

以上便是HDFS安装过程

• 9.配置core-site.xml
输入leafpad /apps/hadoop/etc/hadoop/core-site.xml,打开core-site.xml配置文件。

leafpad /apps/hadoop/etc/hadoop/core-site.xml

添加下面配置到

标签之间。

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

• 10.配置hdfs-site.xml
输入leafpad /apps/hadoop/etc/hadoop/hdfs-site.xml,打开hdfs-site.xml配置文件。

leafpad /apps/hadoop/etc/hadoop/hdfs-site.xml

添加下面配置到

标签之间。

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

配置项说明:
dfs.replication,配置每个数据库备份数,由于目前我们使用1台节点,所以,设置为1,如果设置为2的话,运行会报错。
• 11.配置slaves
输入leafpad /apps/hadoop/etc/hadoop/slaves,打开slaves配置文件。
leafpad /apps/hadoop/etc/hadoop/slaves
将集群中slave角色的节点的主机名,添加进slaves文件中。目前只有一台节点,所以slaves文件内容为:

1	localhost

• 12.下面格式化HDFS文件系统。执行:

1	hadoop namenode -format

• 13.切换目录到/apps/hadoop/sbin目录下。

1	cd /apps/hadoop/sbin/

• 14.启动hadoop的hdfs相关进程。

1	./start-dfs.sh

• 15.输入jps查看HDFS相关进程是否已经启动。

1	jps

• 我们可以看到以下相关进程

• 16.下面可以再进一步验证HDFS运行状态。先在HDFS上创建目录。

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/dolphin
hdfs dfs -mkdir input

• 将输入文件复制到分布式文件系统中。

1	hdfs dfs -put /apps/hadoop/etc/hadoop/*.xml input

• 17.执行下面命令

1	hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'

• 查看执行结果

1	hdfs dfs -cat output/*

• 以上,便是HDFS安装过程。
• 18.配置MapReduce
下面来配置MapReduce相关配置。再次切换到hadoop配置文件目录

1	cd /apps/hadoop/etc/hadoop

• 19.配置mapred-site.xml
输入leafpad /apps/hadoop/etc/hadoop/mapred-site.xml,打开mapred-site.xml配置文件。

1	leafpad /apps/hadoop/etc/hadoop/mapred-site.xml

将mapreduce相关配置,添加到标签之间。

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

这里指定mapreduce任务处理所使用的框架。
• 20.配置yarn-site.xml
输入leafpad /apps/hadoop/etc/hadoop/yarn-site.xml,打开yarn-site.xml配置文件。

1	leafpad /apps/hadoop/etc/hadoop/yarn-site.xml

将yarn相关配置,添加到标签之间。

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

• 21.启动
下面来启动计算层面相关进程,切换到hadoop启动目录。

1	cd /apps/hadoop/sbin/

• 23.执行命令,启动yarn。

1	./start-yarn.sh

Hadoop 单点模式已经安装完成!