Hadoop三大发行版本:Apache、Cloudera、Hortonworks。

Apache版本最原始(最基础)的版本,对于入门学习最好。

Cloudera在大型互联网企业中用的较多。

Hortonworks文档较好。

 

1、Hadoop的特性

4V:
    Volume大量
    Velocity高速
    Variety多样
    Value低价值密度
    
4高:
    高可用:     Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
    高扩展性: 在集群间分配任务数据,可方便的扩展数以千计的节点。
    高效性:     在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
    高容错性: 能够自动将失败的任务重新分配。

2、hadoop目录介绍

1、bin/ 目录下有三个用的到的文件 分别是 hadoop   hdfs     yarn
hdfs管理静态文件资源的
hadoop管理集群的
yarn管理资源调度的

-rwxr-xr-x. 1 hadoop100 angel100 164460 7月  18 2018 container-executor
-rwxr-xr-x. 1 hadoop100 angel100   6488 7月  18 2018 hadoop
-rwxr-xr-x. 1 hadoop100 angel100   8786 7月  18 2018 hadoop.cmd
-rwxr-xr-x. 1 hadoop100 angel100  12223 7月  18 2018 hdfs
-rwxr-xr-x. 1 hadoop100 angel100   7478 7月  18 2018 hdfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100   5953 7月  18 2018 mapred
-rwxr-xr-x. 1 hadoop100 angel100   6310 7月  18 2018 mapred.cmd
-rwxr-xr-x. 1 hadoop100 angel100   1776 7月  18 2018 rcc
-rwxr-xr-x. 1 hadoop100 angel100 204678 7月  18 2018 test-container-executor
-rwxr-xr-x. 1 hadoop100 angel100  13352 7月  18 2018 yarn
-rwxr-xr-x. 1 hadoop100 angel100  11386 7月  18 2018 yarn.cmd


2、etc/目录存放配置文件
3、include/目录 其它代码的文件
4、lib文件动态链接库 了解内容
5、libexec和lib差不多
6、share/目录一些说明文档
7、sbin/目录
存放大量Hadoop 集群启动 停止 脚本命令
如:
hadoop-daemon
slaves 配置集群的时候
start-all 启动全部集群
start-dfs 启动dfs
以及对应的stop-xxx


-rwxr-xr-x. 1 hadoop100 angel100 2752 7月  18 2018 distribute-exclude.sh
-rwxr-xr-x. 1 hadoop100 angel100 6452 7月  18 2018 hadoop-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1360 7月  18 2018 hadoop-daemons.sh
-rwxr-xr-x. 1 hadoop100 angel100 1640 7月  18 2018 hdfs-config.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1427 7月  18 2018 hdfs-config.sh
-rwxr-xr-x. 1 hadoop100 angel100 2291 7月  18 2018 httpfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 3128 7月  18 2018 kms.sh
-rwxr-xr-x. 1 hadoop100 angel100 4080 7月  18 2018 mr-jobhistory-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1648 7月  18 2018 refresh-namenodes.sh
-rwxr-xr-x. 1 hadoop100 angel100 2145 7月  18 2018 slaves.sh
-rwxr-xr-x. 1 hadoop100 angel100 1779 7月  18 2018 start-all.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1471 7月  18 2018 start-all.sh
-rwxr-xr-x. 1 hadoop100 angel100 1128 7月  18 2018 start-balancer.sh
-rwxr-xr-x. 1 hadoop100 angel100 1401 7月  18 2018 start-dfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100 3734 7月  18 2018 start-dfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 1357 7月  18 2018 start-secure-dns.sh
-rwxr-xr-x. 1 hadoop100 angel100 1571 7月  18 2018 start-yarn.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1347 7月  18 2018 start-yarn.sh
-rwxr-xr-x. 1 hadoop100 angel100 1770 7月  18 2018 stop-all.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1462 7月  18 2018 stop-all.sh
-rwxr-xr-x. 1 hadoop100 angel100 1179 7月  18 2018 stop-balancer.sh
-rwxr-xr-x. 1 hadoop100 angel100 1455 7月  18 2018 stop-dfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100 3206 7月  18 2018 stop-dfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 1340 7月  18 2018 stop-secure-dns.sh
-rwxr-xr-x. 1 hadoop100 angel100 1642 7月  18 2018 stop-yarn.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1340 7月  18 2018 stop-yarn.sh
-rwxr-xr-x. 1 hadoop100 angel100 4295 7月  18 2018 yarn-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1353 7月  18 2018 yarn-daemons.sh