spark与kafka的介绍
一 spark是什么
hadoop MapReduce:从集群中读取数据,分片读取 进行一次处理,将结果写到集群,从集群中读取更新后的数据,进行下一次的处理,将结果写到集群
Spark :从集群中读取数据,把数据放入到内存种,完成所有必须的分析处理,将结果写回集群。数据挖掘要比hadoop快100倍
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集,
RDD(Resilient Distributed Dataset)这些数据对象既可以放在内存,也可以放在磁盘,所以RDD同样也可以提供完成的灾难恢复功能

二 spark能做什么
实时流计算,与Storm很相似
RDD ResultSet:一开始没有数据集,读取数据进行处理,把结果再写入mysql和集群中

三 kafka是什么
kafka是一中异步通信框架,底层采用Scala语言,通信框架采用AKK框架
SPark 与 kafka都是采用Scala语言写的。
kafka吞吐量非常高

Kafka可以消息回放:从新播放,可以消息持久化,但是RabbitMQ不能从新恢复消息,
 消息持久化
 非常简单方便的分布式
 分组读取消息(容灾,负载均衡读取数据)容灾,一个挂了,其它的来顶替它。
 每一组消费者只能有一个消费这些数据,各种之间又只有一组

kafka相对于其他的MQ有什么优点


一基本含义
Spark时一个实现快速通用的集群计算平台,通用内存并行计算框架,用来构建大型的,低延迟的数据分析应用程序。扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模型,包括交互式查询和流计算。
Spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark比MapReduce更加高效。 

中间结果输出:基于MapReduce的计算引擎通常会将中间输出到磁盘上,进行存储和容错。出于任务管道承接的,考虑,当一些查询翻译到MapReduce任务时,往往会产生多个Stage,而这些串联的Stage又依赖于底层文件系统(如HDFS)来存储每一个Stage的输出结果。 
Spark是MapReduce的替代方案,而且兼容HDFS,Hive,可融入Hadoop的生态系统,弥补MapReduce的不足

二 Spark的四大特性
1高效性:运行速度提高100倍
Apache Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流失数据的高效性

2易用性
Spark支持Java、Python和Scala的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法

3通用型
Spark可用于批处理,交互式查询(Spark SQL), 实时流处理(Spark Streaming) 机器学习(Spark MLlib) 和图计算(GraphX)

4兼容性
Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。

Mesos: Spark可以运行在Mesos里面(Mesos类似于yarn的一个资源调度框架)
standalone: Spark自己可以给自己分配资源(master,worker)
Yarn: Spark可以运行在yarn上面
Kubernetes: Spark接收Kubernetes的资源调度

三Spark的组成
Spark组成(BDAS):全程伯克利数据分析栈,通过大规模集成算法,机器,人之间展现大数据应用的一个平台。也是处理大数据,云计算,通信的技术解决方案
主要组件有:
SparkCore: 将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度,RPC,序列化和压缩,并为运行在其上的上层组件提供API
SparkSQL: Spark Sql是Spark来操作结构化数据的程序包,可以让我们使用SqL语句的方式来查询数据,Spark支持多种数据源,包含Hive表,parquest以及JSON等内容
SparkStreaming: 是Spark提供的实时数据进行流式计算的组件
MLlib:提供常用机器学习算法的实现库
GraphX:提供一个分布式图计算框架,能高效进行图计算。
BlinkDB:用于在海量数据上进行交互式SQL的近似查询引擎
Tachyon:以内存为中心高容错的分布式文件系统
四应用场景

spark与Kafka如何进行流计算
kafka实时接收数据,采用Spark并行计算能力,来做用户的行为分析。
Spark最好安装在hadoop当中

Yahoo将Spark永在Audience Expansion中的应用,进行点击预测和即时查询
淘宝技术团队使用Spark来解决多次迭代的机器学习算法,高计算复杂度的算法等。 应用于内容推荐,社区发现等。 
腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集,算法实时训练,系统实时预测"的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上
优酷土豆将Spark应用于视频推荐(图形学),广告业务,主要实现机器学习,图计算等迭代计算