Hadoop
狭义的Hadoop VS 广义的Hadoop
- 广义的Hadoop：指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分，生态系统中每一子系统只解决某一个特定的问题域（甚至可能更窄），不搞统一型的全能系统，而是小而精的多个小系统；
Hive:数据仓库
R:数据分析
Mahout:机器学习库
pig：脚本语言，跟Hive类似
Oozie:工作流引擎，管理作业执行顺序
Zookeeper:用户无感知，主节点挂掉选择从节点作为主的
Flume:日志收集框架
Sqoop:数据交换框架，例如：关系型数据库与HDFS之间的数据交换
Hbase : 海量数据中的查询，相当于分布式文件系统中的数据库
Hadoop生态系统的特点
- 开源、社区活跃
- 囊括了大数据处理的方方面面
- 成熟的生态圈
HDFS介绍
全称：Hadoop Distributed File System
中文：Hadoop分布式文件管理系统
用Java编写的开源系统，能够运行在大规模的计算平台（集群）上的分布系统
起源于Lucene项目，起初为其子项目Nutch搜索引擎里面的一个模块
受Google三篇论文的启发：MapReduce、GFS、Bigtable
作为Hadoop的核心技术之一，HDFS是分布式计算中数据存储管理的基础。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了许多便利。
HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础机构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS的可靠性：
--冗余副本策略（可在hdfs-site.xml中设置复制因子指定副本数量，每次DataNode启动都向Namenode汇报hdfs数据块和本地文件的对应关系）
--机架策略（副本尽量分布不在同一个机架的节点中，是人为通过py脚本设置的）
--心跳机制（Namenode周期性从DataNode接收心跳信号和块报告，并按情况做修复，默认是3秒可配置）
--安全模式（namenode启动时会先经过一个“安全模式”阶段，要一定比例的数据的副本数达标才离开，也可以通过命令进入和退出这个模式）
HDFS的可靠性表现在：
--校验和（取数据时查看校验和是否相等）
--回收站（删除文件放入回收站，就放在当前目录.trash溢出即恢复，定期清理）
--元数据保护（Namenode的映像文件和事务日志元数据多副本）
--快照机制（闪回）
Block的说明
--默认大小为128M
--当Namenode读取block的时候，它会计算校验和，如果计算后的校验和，与block创建时值不一样，说明该block已经损坏
--Client读取其它DataNode上的block，NameNode标记已经损坏，然后复制block达到预期设置的文件备份数
--DataNode在其文件创建三周后验证其校验和
--设置一个Block 128MB。如果上传文件小于该值，仍然会占用一个Block的命名空间（NameNode metadata），但是物理存储不会占用128MB的空间
--Block大小和副本数有Client端上传到HDFS时设置，其中副本数可以变更，Block是不可以上传后再变更的
什么是MapReduce
- 源于Google的MapReduce论文(2004年12月)
- Hadoop的MapReduce是Google论文的开源实现
- MapReduce优点: 海量数据离线处理&易开发
- MapReduce缺点: 实时流式计算
MapReduce编程模型
- MapReduce分而治之的思想
- 数钱实例：一堆钞票，各种面值分别是多少
- 单点策略
- 一个人数所有的钞票，数出各种面值有多少张
- 分治策略
- 每个人分得一堆钞票，数出各种面值有多少张
- 汇总，每个人负责统计一种面值
- 解决数据可以切割进行计算的应用
- MapReduce编程分Map和Reduce阶段
- 将作业拆分成Map阶段和Reduce阶段
- Map阶段 Map Tasks 分：把复杂的问题分解为若干"简单的任务"
- Reduce阶段: Reduce Tasks 合：reduce
MapReduce工作过程
input data：输入数据
InputFormat：对数据进行切分，格式化处理
map：将前面切分的数据做map处理(将数据进行分类，输出(k,v)键值对数据)
shuffle&sort:将相同的数据放在一起，并对数据进行排序处理
reduce：将map输出的数据进行hash计算，对每个map数据进行统计计算
OutputFormat：格式化输出数据
MapReduce Job调度机制
---缺省为先入先出作业队列调度
---支持公平调度器
公平，平等分配资源，小任务不会让你饿死，大任务也不能霸道
---支持容量调度器
建立多条管道，不同任务在不同管道上运行，享用这条管道的资源
MapReduce内部任务优化机制
--推测式执行 ，如果有任务一直没有完成，则再启动一个任务，先完成的kill另外一个，缺省打开
--重用JVM，可设置单个JVM上运行的最大任务数，默认1
--忽略模式，任务在某位置读取失败2次，则会报告jobtracker，以后碰到到这个地方都跳过，默认关闭
