一、HDFS实验：部署HDFS指导
2.1 实验目的
1． 理解HDFS存在的原因；
2． 理解HDFS体系架构；
3． 理解master/slave架构；
4． 理解为何配置文件里只需指定主服务、无需指定从服务；
5． 理解为何需要客户端节点；
6． 学会逐一启动HDFS和统一启动HDFS；
7． 学会在HDFS中上传文件。
2.2 实验要求
要求实验结束时，已构建出以下HDFS集群：
1． master上部署主服务NameNode；
2． Slave1、2、3上部署从服务DataNode；
3． client上部署HDFS客户端。
待集群搭建好后，还需在client上进行下述操作：
1． 在HDFS里新建目录；
2． 将client上某文件上传至HDFS里刚才新建的目录。
2.3 实验原理
2.3.1 分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。
2.3.2 HDFS
HDFS（Hadoop Distributed File System）为大数据平台其它所有组件提供了基本的存储功能。它具有高容错、高可靠、可扩展、高吞吐率等特征，为大数据存储和处理提供了强大的底层存储架构。
HDFS是一个主/从（master/slave）体系结构，从最终用户的角度来看，它就像传统的文件系统，可通过目录路径对文件执行CRUD操作。由于其分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNodes，NameNode管理文件系统的元数据，DataNode存储实际的数据。
HDFS开放文件系统的命名空间以便用户以文件形式存储数据，秉承“一次写入、多次读取”的原则。客户端通过NameNode和DataNodes的交互访问文件系统，联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和DataNode进行交互的。
2.3.3 HDFS基本命令
HDFS基本命令格式如下：
hadoop fs -cmd args其中，cmd为具体的操作，args为参数。
部分HDFS命令示例如下：
hadoop fs -mkdir /user/trunk #建立目录/user/trunk
hadoop fs -ls /user #查看/user目录下的目录和文件
hadoop fs -lsr /user #递归查看/user目录下的目录和文件
hadoop fs -put test.txt /user/trunk #上传test.txt文件至/user/trunk
hadoop fs -get /user/trunk/test.txt #获取/user/trunk/test.txt文件
hadoop fs -cat /user/trunk/test.txt #查看/user/trunk/test.txt文件内容
hadoop fs -tail /user/trunk/test.txt #查看/user/trunk/test.txt文件的最后1000行
hadoop fs -rm /user/trunk/test.txt #删除/user/trunk/test.txt文件
hadoop fs -help ls #查看ls命令的帮助文档2.3.4 HDFS适用场景
HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，以下是一些常用的应用场景：
数据密集型并行计算：数据量极大，但是计算相对简单的并行处理，如大规模Web信息搜索；
计算密集型并行计算：数据量相对不是很大，但是计算较为复杂的并行计算，如3D建模与渲染、气象预报和科学计算；
数据密集与计算密集混合型的并行计算，如3D电影的渲染。
HDFS在使用过程中有以下限制：
HDFS不适合大量小文件的存储，因NameNode将文件系统的元数据存放在内存中，因此存储的文件数目受限于NameNode的内存大小；
HDFS适用于高吞吐量，而不适合低时间延迟的访问；
流式读取的方式，不适合多用户写入一个文件（一个文件同时只能被一个客户端写），以及任意位置写入（不支持随机写）；
HDFS更加适合写入一次，读取多次的应用场景。
2.4 实验步骤
部署HDFS主要步骤如下：
1． 配置Hadoop的安装环境；
2． 配置Hadoop的配置文件；
3． 启动HDFS服务；
4． 验证HDFS服务可用。
2.4.1 在master服务器上确定存在hadoop安装目录
[root@master ~]# ls /usr/cstor/hadoop显示结果如图2-1所示：
图2-1 确认hadoop安装目录
2.4.2 确认集群服务器之间可SSH免密登录
使用ssh工具登录到每一台服务器，执行命令ssh 主机名，确认每台集群服务器均可SSH免密登录。若无法SSH免密登录，请参照实验一的1.4.4节进行配置。
2.4.3 修改HDFS配置文件
(1)设置JDK安装目录
编辑文件“/usr/cstor/hadoop/etc/hadoop/hadoop-env.sh”，找到如下一行：
export JAVA_HOME=${JAVA_HOME}将这行内容修改为：
export JAVA_HOME=/usr/local/jdk1.7.0_79/这里的“/usr/local/jdk1.7.0_79/”就是JDK安装位置，如果不同，请根据实际情况更改。
(2)指定HDFS主节点
编辑文件“/usr/cstor/hadoop/etc/hadoop/core-site.xml”，将如下内容嵌入此文件里最后两行的<configuration></configuration>标签之间：
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/cstor/hadoop/cloud</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>(3)拷贝集群配置至其它服务器
在master机上执行下列命令，将配置好的hadoop拷贝至slaveX、client。
[root@master ~]# cat ~/data/2/machines
slave1
salve2
slave3
client
[root@master ~]# for x in `cat ~/data/2/machines` ; do echo $x ; scp -r /usr/cstor/hadoop/etc $x:/usr/cstor/hadoop ; done;2.4.4 启动HDFS
在master服务器上格式化主节点：
[root@master ~]# hdfs namenode -format配置slaves文件，将localhost修改为slave1~3：
[root@master ~]# vi /usr/cstor/hadoop/etc/hadoop/slaves
slave1
slave2
slave3统一启动HDFS：
[root@master ~]#cd /usr/cstor/hadoop
[root@master hadoop]# sbin/start-dfs.sh2.4.5 通过查看进程的方式验证HDFS启动成功
分别在master、slave1~3四台机器上执行如下命令，查看HDFS服务是否已启动。
[root@master sbin]# jps #jps查看java进程若启动成功，在master上会看到类似的如下信息：
6208 NameNode
6862 Jps
6462 SecondaryNameNode而在slave1、slave2、slave3上会看到类似的如下信息：
6208 DataNode
6862 Jps2.4.6 使用client上传文件
从client服务器向HDFS上传文件。
[root@client ~]# hadoop fs -put ~/data/2/machines /执行命令：hadoop fs -ls /，查看文件是否上传成功。
如图2-2所示：
图2-2 查看文件是否上传成功
二、具体实操：
步骤1：配置集群ssh免密
- 1.先进行网络映射配置
- 2.其次在master上生成秘钥
- 3.把生成的公钥发送到包括master在内的所有服务器上
步骤2：修改HDFS配置
- 1.先在Hadoop-env.sh文件中修改 jdk为绝对路径
- 2.在core-site.xml中指定HDFS的主节点（键值对的形式）
- 3.拷贝该配置到集群其他子集上，首先查看你的集群所有子集
步骤3：启动HDFS
1.在master服务器上格式化主节点；
2.其次配置slaves文件，将localhost修改为slave1~3；
3.最后在hadoop安装目录下统一启动HDFS；
4.用jps 命令在各个子集检验是否启动节点成功；
步骤4：上传文件至HDFS
- hdfs配置成功后可以在client上向HDFS上传文件：（把根目录下/data/2/machines文件上传到HDFS）
