Hadoop生态系统的特点：
源代码开源（免费）
社区活跃、参与者众多
涉及分布式存储和计算的方方面面
已得到企业界验证
Hadoop1.0和2.0：
Hadoop概述：
分布式存储系统HDFS（Hadoop Distributed File System）
分布式存储系统
提供了高可靠性、高扩展性和高吞吐率的数据存储服务
资源管理系统YARN（Yet Another Resource Negotiator）
负责集群资源的统一管理和调度
分布式计算框架MapReduce
分布式计算框架
具有易于编程、高容错性和高扩展性等优点
Hadoop2.0层级关系：
Hadoop构成 ：HDFS 分布式文件存储
源自于Google的GFS论文
发表于2003年10月
HDFS是GFS克隆版
HDFS特点
良好的扩展性
高容错性
适合PB级以上海量数据的存储
基本原理
将文件切分成等大的数据块，存储到多台机器上
将数据切分、容错、负载均衡等功能透明化
可将HDFS看成一个容量巨大、具有高容错性的磁盘
应用场景
海量数据的可靠性存储
数据归档
Hadoop构成 ：YARN（资源管理系统）
YARN是什么
Hadoop 2.0新增系统
负责集群的资源管理和调度
使得多种计算框架可以运行在一个集群中
YARN的特点
良好的扩展性、高可用性
对多种类型的应用程序进行统一管理和调度
自带了多种多用户调度器，适合共享集群环境
Hadoop构成 ：MapReduce（分布式计算框架）
源自于Google的MapReduce论文
发表于2004年12月
Hadoop MapReduce是Google MapReduce克隆版
MapReduce特点
良好的扩展性
高容错性
适合PB级以上海量数据的离线处理
Hadoop生态系统介绍：1.0时代
Hadoop生态系统介绍：2.0时代
Hadoop生态系统：Hive（基于MR的数据仓库）
由facebook开源，最初用于解决海量结构化的日志数据统计问题；
ETL（Extraction-Transformation-Loading）工具
构建在Hadoop之上的数据仓库；
数据计算使用MR，数据存储使用HDFS
Hive 定义了一种类 SQL 查询语言——HQL；
类似SQL，但不完全相同
通常用于进行离线数据处理（采用MapReduce）；
可认为是一个HQLMR的语言翻译器。
日志分析
统计网站一个时间段内的pv、uv
多维度数据分析
大部分互联网公司使用Hive进行日志分析，包括百度、淘宝等
其他场景
海量结构化数据离线分析
低成本进行数据分析（不直接编写MR）
Hadoop生态系统：Pig
由yahoo ！开源，设计动机是提供一种基于MapReduce的数据分析工具
构建在Hadoop之上的数据仓库
定义了一种数据流语言——Pig Latin
通常用于进行离线分析
Hadoop生态系统：wordcount比较 mapreduce
Hadoop生态系统：wordcount比较 hive
Hadoop生态系统：wordcount比较 pig
Hadoop生态系统：Mahout（数据挖掘库）
基于Hadoop的机器学习和数据挖掘的分布式计算框架
实现了三大类算法
推荐(Recommendation)
聚类(Clustering)
分类(Classification)
Hadoop生态系统：HBase（分布式数据库）
源自Google的Bigtable论文
发表于2006年11月
HBase是Google Bigtable克隆版
HBase特点
高可靠性
高性能
面向列
良好的扩展性
Hadoop生态系统：HBase数据模型
Table：表
类似于传统传统数据库中的表
Column Family：列簇
Table在水平方向有一个或者多个Column Family组成
一个Column Family中可以由任意多个Column组成
Row Key: 行键
Table的主键
Table中的记录按照Row Key排序
Timestamp: 时间戳
每行数据均对应一个时间戳
版本号
Hadoop生态系统：HBase架构
Hadoop生态系统：Zookeeper（分布式协作服务）
源自Google的Chubby论文
发表于2006年11月
Zookeeper是Chubby克隆版纳
解决分布式环境下数据管理问题
统一命名
状态同步
集群管理
配置同步
Hadoop生态系统：Zookeeper 角色及应用
HDFS
YARN
Storm
HBase
Flume
Dubbo（阿里巴巴）
Metaq（阿里巴巴）
Hadoop生态系统：Sqoop（数据同步工具）
连接Hadoop与传统数据库之间的桥梁
支持多种数据库，包括MySQL、DB2等
插拔式，用户可根据需要支持新的数据库
本质上是一个MapReduce程序
充分利用了MR分布式并行的特点
充分利用MR容错性
Hadoop生态系统：Flume（日志收集工具）
Cloudera开源的日志收集系统
Flume特点
分布式
高可靠性
高容错性
易于定制与扩展
Hadoop生态系统：Oozie（作业流调度系统）
目前计算框架和作业类型繁多：
MapReduce Java、Streaming、HQL、Pig等
如何对这些框架和作业进行统一管理和调度：
不同作业之间存在依赖关系（DAG）；
周期性作业
定时执行的作业
作业执行状态监控与报警（发邮件、短信等）
多种解决方案：
Linux Crontab
自己设计调度系统（淘宝等公司）
直接使用开源系统（Oozie）
Hadoop版本：发行版介绍
Apache Hadoop
推荐使用最新的2.x.x版本
下载地址：http://hadoop.apache.org
CDH（Cloudera Distributed Hadoop）
推荐使用最新的CDH5版本，比如CDH5.0.0
下载地址： http://archive.cloudera.com/cdh5/cdh/
HDP（Hortonworks Data Platform）
推荐使用最新的HDP 2.x版本，比如HDP 2.1版本
下载地址：http://zh.hortonworks.com/hdp/downloads/
Hadoop版本：HDP
Hadoop版本：CDH
Hadoop版本：版本选择
不同发行版兼容性
架构、部署和使用方法一致，不同之处仅在若干内部实现
建议选择公司发行版，比如CDH或HDP
更易维护和升级
经过集成测试，不会面临版本兼容问题
