熟悉常用的 Linux 操作和 Hadoop 操作实验总结
一、整体流程
首先，我们来看一下这个实验的整体流程，具体步骤如下表所示：
| 步骤 | 操作 |
|---|---|
| 1 | 安装 Linux 操作系统 |
| 2 | 配置网络和用户 |
| 3 | 安装 Hadoop |
| 4 | 配置 Hadoop 环境 |
| 5 | 运行 Hadoop 实例 |
| 6 | 实验总结和反思 |
二、具体操作步骤
步骤1：安装 Linux 操作系统
在这个步骤中，我们需要安装 Linux 操作系统。具体的安装步骤可以参考操作系统提供的文档或者官方网站。这里假设我们选择安装 Ubuntu 20.04 LTS 版本。
步骤2：配置网络和用户
安装完 Linux 操作系统后，我们需要配置网络和用户。具体的操作如下：
- 打开终端，输入以下命令配置网络：
sudo nano /etc/network/interfaces
这里使用 nano 编辑器打开网络配置文件，你也可以选择其他编辑器。
- 在文件中添加以下内容：
auto eth0
iface eth0 inet static
address 192.168.0.100 # 设置静态 IP 地址
netmask 255.255.255.0 # 设置子网掩码
gateway 192.168.0.1 # 设置网关
dns-nameservers 8.8.8.8 # 设置 DNS 服务器
保存并关闭文件后，重启网络服务：
sudo service networking restart
- 创建新用户并设置密码：
sudo adduser hadoop_user # 创建新用户
sudo passwd hadoop_user # 设置密码
步骤3：安装 Hadoop
在这个步骤中，我们需要安装 Hadoop。具体的操作如下：
- 下载 Hadoop 安装包：
wget
- 解压安装包：
tar -zxvf hadoop-3.3.1.tar.gz
- 移动解压后的文件夹到指定位置：
sudo mv hadoop-3.3.1 /usr/local/hadoop
步骤4：配置 Hadoop 环境
在这个步骤中，我们需要配置 Hadoop 的环境变量。具体的操作如下：
- 打开 Hadoop 的环境配置文件：
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
- 修改文件中的 JAVA_HOME 变量为 Java 安装路径：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
保存并关闭文件。
- 配置 Hadoop 的核心配置文件：
sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
在文件中添加以下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 配置 Hadoop 的 HDFS 配置文件：
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
在文件中添加以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
步骤5：运行 Hadoop 实例
在这个步骤中，我们将运行一个简单的 Hadoop 实例以验证配置是否正确。具体的操作如下：
- 格式化 HDFS：
hdfs namenode -format
- 启动 Hadoop：
start-all.sh
- 创建一个测试文件：
hdfs dfs -mkdir /input
echo "Hello, Hadoop!" > test.txt
hdfs dfs -put test.txt /input
- 运行一个简单的 MapReduce 任务：
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /
