Hadoop伪分布式 => 启动HDFS并运行MR程序

配置：

cd /opt/module/hadoop-2.9.2/

sudo rm -rf data

sudo vim etc/hadoop/core-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 指定 HDFS 中NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.9.2/data/tmp</value>
</property>

sudo vim etc/hadoop/hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME} 修改为 export JAVA_HOME=/opt/module/jdk1.8.0_241

sudo vim etc/hadoop/hdfs-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 指定 HDFS 副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

启动集群：

格式化NameNode：（注意第一次格式化，以后不用每次格式化）

bin/hdfs namenode -format

启动NameNode：

sbin/hadoop-daemon.sh start namenode

启动DataNode：

sbin/hadoop-daemon.sh start datanode

查看状态：

jps

输入网址：http://hadoop101:50070

在HDFS里创建目录：

bin/hdfs dfs -mkdir -p /user/atguigu/input

将本地文件上传到HDFS里

bin/hdfs dfs -put NOTICE.txt /user/atguigu/input