Hadoop三大发行版本:Apache、Cloudera、Hortonworks。
Apache版本最原始(最基础)的版本,对于入门学习最好。
Cloudera在大型互联网企业中用的较多。
Hortonworks文档较好。
1、Hadoop的特性
4V:
Volume大量
Velocity高速
Variety多样
Value低价值密度
4高:
高可用: Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
高扩展性: 在集群间分配任务数据,可方便的扩展数以千计的节点。
高效性: 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
高容错性: 能够自动将失败的任务重新分配。
2、hadoop目录介绍
1、bin/ 目录下有三个用的到的文件 分别是 hadoop hdfs yarn
hdfs管理静态文件资源的
hadoop管理集群的
yarn管理资源调度的-rwxr-xr-x. 1 hadoop100 angel100 164460 7月 18 2018 container-executor
-rwxr-xr-x. 1 hadoop100 angel100 6488 7月 18 2018 hadoop
-rwxr-xr-x. 1 hadoop100 angel100 8786 7月 18 2018 hadoop.cmd
-rwxr-xr-x. 1 hadoop100 angel100 12223 7月 18 2018 hdfs
-rwxr-xr-x. 1 hadoop100 angel100 7478 7月 18 2018 hdfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100 5953 7月 18 2018 mapred
-rwxr-xr-x. 1 hadoop100 angel100 6310 7月 18 2018 mapred.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1776 7月 18 2018 rcc
-rwxr-xr-x. 1 hadoop100 angel100 204678 7月 18 2018 test-container-executor
-rwxr-xr-x. 1 hadoop100 angel100 13352 7月 18 2018 yarn
-rwxr-xr-x. 1 hadoop100 angel100 11386 7月 18 2018 yarn.cmd
2、etc/目录存放配置文件
3、include/目录 其它代码的文件
4、lib文件动态链接库 了解内容
5、libexec和lib差不多
6、share/目录一些说明文档
7、sbin/目录
存放大量Hadoop 集群启动 停止 脚本命令
如:
hadoop-daemon
slaves 配置集群的时候
start-all 启动全部集群
start-dfs 启动dfs
以及对应的stop-xxx
-rwxr-xr-x. 1 hadoop100 angel100 2752 7月 18 2018 distribute-exclude.sh
-rwxr-xr-x. 1 hadoop100 angel100 6452 7月 18 2018 hadoop-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1360 7月 18 2018 hadoop-daemons.sh
-rwxr-xr-x. 1 hadoop100 angel100 1640 7月 18 2018 hdfs-config.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1427 7月 18 2018 hdfs-config.sh
-rwxr-xr-x. 1 hadoop100 angel100 2291 7月 18 2018 httpfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 3128 7月 18 2018 kms.sh
-rwxr-xr-x. 1 hadoop100 angel100 4080 7月 18 2018 mr-jobhistory-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1648 7月 18 2018 refresh-namenodes.sh
-rwxr-xr-x. 1 hadoop100 angel100 2145 7月 18 2018 slaves.sh
-rwxr-xr-x. 1 hadoop100 angel100 1779 7月 18 2018 start-all.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1471 7月 18 2018 start-all.sh
-rwxr-xr-x. 1 hadoop100 angel100 1128 7月 18 2018 start-balancer.sh
-rwxr-xr-x. 1 hadoop100 angel100 1401 7月 18 2018 start-dfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100 3734 7月 18 2018 start-dfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 1357 7月 18 2018 start-secure-dns.sh
-rwxr-xr-x. 1 hadoop100 angel100 1571 7月 18 2018 start-yarn.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1347 7月 18 2018 start-yarn.sh
-rwxr-xr-x. 1 hadoop100 angel100 1770 7月 18 2018 stop-all.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1462 7月 18 2018 stop-all.sh
-rwxr-xr-x. 1 hadoop100 angel100 1179 7月 18 2018 stop-balancer.sh
-rwxr-xr-x. 1 hadoop100 angel100 1455 7月 18 2018 stop-dfs.cmd
-rwxr-xr-x. 1 hadoop100 angel100 3206 7月 18 2018 stop-dfs.sh
-rwxr-xr-x. 1 hadoop100 angel100 1340 7月 18 2018 stop-secure-dns.sh
-rwxr-xr-x. 1 hadoop100 angel100 1642 7月 18 2018 stop-yarn.cmd
-rwxr-xr-x. 1 hadoop100 angel100 1340 7月 18 2018 stop-yarn.sh
-rwxr-xr-x. 1 hadoop100 angel100 4295 7月 18 2018 yarn-daemon.sh
-rwxr-xr-x. 1 hadoop100 angel100 1353 7月 18 2018 yarn-daemons.sh