Spark简介
什么是Spark?
Spark 是基于内存计算的通用大规模数据处理框架
Spark已经融入了Hadoop生态系统，可支持的作业类型和应用场景比MapReduce更为广泛，并且具备了MapReduce所有的高容错性和高伸缩性特点。
为什么会诞生Spark
并不是所有的问题都可以简单的分解成Map和Reduce两步模型处理
Mapreduce 缺点
1、 延迟高： 不适合交互式SQL分析
2、 迭代计算力不从心：斐波那契数列
3、 流式数据处理： 统计网站的PV、UV数据
Spark
一站式解决：
离线批处理
流式计算
在线实时分析
Spark为何快
MapReduce会将中间结果输出到本地磁盘：例如Shuffle过程Map的中间结果
有多个MapReduce任务串联时，依赖HDFS存储中间结果的输出对磁盘的IO操作太频繁
例如：hive
Spark 尽可能减小中间结果写入磁盘，尽可能减少不必要的Sort/Shuffle 反复用到的数据进行Cache 对于DAG进行高度的优化、划分不同的Stage ，使用延迟计算技术。
弹性分布式数据集RDD
Spark 将数据缓存在分布式内存中
如何实现？rdd
Spark的核心
分布式内存抽象
提供一个高度受限的共享内存模型
逻辑上集中但是物理上是存在在集群的多台机器上
RDD属性和特点
只读
通过HDFS或者其它持久化系统创建RDD
通过transformation将父RDD转化得到新的RDD
RDD 上保存着前后的之间的依赖关系
Partition
基本组成单位，RDD在逻辑上按照Partition分块
分布在各个节点上
分片数量决定并行计算的粒度
RDD中保存如何计算每一个分区的函数
容错
失败自动重建
如果发生部分分区数据丢失，可以通过依赖关系重新计算
Spark编程模型
1、 对于RDD有四种类型的算子
Create：
SparkContext.textFile()
SparkContext.parallelize()
Transformation
作用于一个或者多个RDD，输出转换后的RDD
例如：map，filter,groupby
Action:
会触发Spark提交作业，并将结果返回Diver Program
例如：reduce,countByKey
Cache:
cache 缓存
persist持久化
惰性运算 遇到Action时才会真正的执行
