hadoop连接集群服务器 hadoop集群搭建实验报告总结

准备工作

虚拟机安装三台linux，可以先安装一台虚拟器，然后进行克隆。这里我使用的是：centos 6.5

ip配置

配置网络虚拟编辑器。如果是采用克隆的机器，注意修改mac地址，和ip地址。

修改主机名

vi /etc/sysconfig/network

设置一台机器为master ,另外两台为：node1,node2。

集群搭建步骤

1.设置ip：使用命令service network restart 重启网卡

2.关闭防火墙：使用命令service iptables stop

3.关闭防火墙的自动启动：使用命令chkconfig iptables off

4.设置主机名：修改配置文件vi /etc/sysconfig/network

5.设置主机名与ip的映射：修改配置文件vi /etc/hosts

6.设置ssh免密码登录

6.1主节点执行命令ssh-keygen -t rsa 产生密钥 一直回车

执行命令

将密钥拷贝到其他两个子节点，命令如下：

ssh-copy-id -i node1

ssh-copy-id -i node2

实现免密码登录到子节点。

验证命令，在主节点 通过命令： ssh node1

第一次需要输入密码，后面可以不需要输入密码登录

退出 命令 exit。

7.安装jdk

上传解压jkd,并配置环境变量。

8.上传hadoop的jar包到虚拟机

9.解压:tar -zxvf hadoop-2.6.0.tar.gz 解压完后会出现 hadoop-2.6.0的目录

10.修改master中hadoop的一个配置文件:/解压路径/etc/hadoop/slaves

删除原来的所有内容，修改为如下 ：

11.修改hadoop的几个组件的配置文件

修改hadoop-env.sh文件

/usr/local/java/jdk1.8.0_171
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

修改 core-site.xml
将下面的配置参数加入进去修改成对应自己的

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/soft/hadoop-2.6.0/tmp</value>
        </property>
	    <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

修改 hdfs-site.xml 将dfs.replication设置为1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

修改文件yarn-site.xml

<configuration>
        <property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

修改 mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml）

<configuration>
   <property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>  
		<name>mapreduce.jobhistory.address</name>  
		<value>master:10020</value>  
	</property>  
	<property>  
		<name>mapreduce.jobhistory.webapp.address</name>  
		<value>master:19888</value>  
	</property> 
</configuration>

12，将hadoop的安装目录分别拷贝到其他子节点

scp -r /安装路径/hadoop-2.6.0  node1:/安装路径/soft/
 scp -r /安装路径/hadoop-2.6.0  node2:/安装路径/soft/

13 启动hadoop
先自己建立tmp文件夹。执行一次格式化命令：

./bin/hdfs namenode -format

然后 /安装路径/hadoop-2.6.0目录下： 启动执行./sbin/start-all.sh

14.验证hdfs：

可以登录浏览器地址：192.168.1.80:50070

看到下面页面证明 hdfs装好了