hadoop完全分布式集群搭建

### Hadoop完全分布式集群搭建

#### 1. 流程概述
为了搭建Hadoop的完全分布式集群，我们需要按照以下步骤进行操作：

| 步骤 | 操作 |
|---|---|
| 1 | 安装Java和SSH |
| 2 | 配置主机名和IP地址 |
| 3 | 下载和解压Hadoop |
| 4 | 配置Hadoop环境变量 |
| 5 | 配置Hadoop主从节点 |
| 6 | 启动Hadoop集群 |

#### 2. 具体操作步骤和代码示例

##### 步骤1：安装Java和SSH
首先，确保你的系统中已经安装了Java和SSH。若没有，执行以下命令进行安装：

```bash
# 安装OpenJDK
sudo apt-get update
sudo apt-get install openjdk-8-jdk

# 安装SSH
sudo apt-get install ssh
```

##### 步骤2：配置主机名和IP地址
编辑`/etc/hosts`文件，为每个节点设置主机名和IP地址，确保节点之间可以相互通信。

```bash
sudo nano /etc/hosts
# 添加主机名和IP地址，例如：
192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2
```

##### 步骤3：下载和解压Hadoop
从官方网站下载Hadoop压缩包，并解压到指定目录：

```bash
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0.tar.gz
tar -zxvf hadoop-3.3.0.tar.gz
sudo mv hadoop-3.3.0 /opt/hadoop
```

##### 步骤4：配置Hadoop环境变量
编辑`.bashrc`文件，添加Hadoop环境变量：

```bash
sudo nano ~/.bashrc
# 添加以下内容
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```

使环境变量生效：

```bash
source ~/.bashrc
```

##### 步骤5：配置Hadoop主从节点
编辑Hadoop相关配置文件，配置主从节点信息。具体配置请参考Hadoop官方文档。

```bash
cd /opt/hadoop/etc/hadoop
sudo nano core-site.xml
```

示例`core-site.xml`配置：

```xml


fs.defaultFS
hdfs://master:9000


```

##### 步骤6：启动Hadoop集群
启动Hadoop集群的NameNode和DataNode：

```bash
hdfs namenode -format
start-dfs.sh
```

启动YARN资源管理器：

```bash
start-yarn.sh
```

至此，你已成功搭建了Hadoop的完全分布式集群！

#### 结语
通过以上步骤，你已经了解了如何搭建Hadoop的完全分布式集群。希望这篇文章对你有所帮助，如果有任何问题，欢迎随时询问！