一、官网介绍




1 什么是Spark

官网地址:​​http://spark.apache.org/​

Spark(一)Spark简介_数据

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。




问题

工具只在解决了一些问题时才有用,对吧!那么让我们来讨论一下 Spark 能解决的问题。

我们需要(快速获取)答案

在批处理过程中,长时间等待运行作业的结果是意料中的事,在如今的企业中,需要快速(“近实时”)获取答案。大数据的属性(速度、数据量和种类)使得业务问题越来越难获得答案,但快速获取这些答案非常重要。

数据如此之多

数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等,数据源在不断增加。所有数据都需要经过一定的处理,这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据,以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据,这一点很重要!

A 与 B(以及 C、D 等等)有何关联?

您拥有所有这些有用的数据,从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果,从而确定哪些数据维至关重要,哪些毫无价值。

我们需要知道(何时)将会发生什么

您拥有所有这些宝贵的历史数据。太棒了!现在您需要分析它们,了解发生了什么和发生的原因,以便能预测接下来会发生什么。重要的是能够分析所有这些数据,以便预测将会发生的业务事件。

Apache Spark 不是什么

我们常常(且很容易)合并解决一组类似问题的两种或更多相关技术,而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误,让我们讨论一下它不是什么。

Hadoop

Hadoop 是一种大数据文件存储和数据处理框架,它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据,转换数据,并将数据写回磁盘。另一方面,Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据,这些步骤之间相互依赖(Gradle 也使用了一种 DAG),而且不会像 Hadoop(通过 Hadoop 分布式文件系统,HDFS)那样处理文件存储本身。

MapReduce

人们很容易将 Spark Core 与 MapReduce 混淆,因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法:读入数据,MapReduce 转换它,然后将数据写回到磁盘。如果需要另一次转换,则会重复这些步骤。另一方面,Spark 在内存中执行所有处理工作(如有必要,还会执行多次迭代),并使用 DAG 确定要执行步骤的最佳顺序。

与 Hadoop 相互排斥

Spark 被设计为与 Hadoop 兼容,所以 Hadoop 和 Spark 可以紧密协作。事实上,Spark 下载包含用于使用 HDFS(用于存储管理)和 YARN(用于资源管理和调度)的 Hadoop 客户端库。

解决方案

在一开始的时候,我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。

我们需要(快速获取)答案

近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据,所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍!

数据如此之多

或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时,需要将数据写入磁盘,然后读回进行 Map/Reduce 转换处理,接着再写回磁盘,然后才能交到分析师手中。

Spark Streaming 允许在内存中处理传入的数据,然后写入磁盘供以后扩充(如有必要)和进一步分析。

A 与 B(以及 C、D 等等)有何关联?

来自多个来源的数据(比如交易数据、社交媒体数据、单击流等)拥有隐藏的关联,梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度,但实际上却紧密关联。但要以有意义的方式实现此目的,需要灵活地转换数据(速度快没有坏处,对吧?),以便找到正确的方向。

Spark GraphX 结合了二者的优势:多个算法的灵活性,以及以各种不同方式转换和合并数据的速度。

我们需要知道(何时)将会发生什么

在预测未来时,拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件(当然还有硬件)。

Spark 的 MLib 具有很高的性能(惊讶吧?)机器学习 (ML) 库采用了大量经过实践检验的算法(比如分类、回归和聚类)、特制技术(比如转换和降维)和实用工具(比如线性代数和统计学)。



2 Spark与MapReduce的区别



都是分布式计算框架,Spark基于内存,MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序。


二、Spark的四大特性

1、高效性

官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流式数据的高性能。

2、易用性

Spark支持Java、Scala,Python和R的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。

3、通用性

Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力,毕竟任何公司都想用统一的平台去处理遇到的问题,减少开发和维护的人力成本和部署平台的物力成本。

4、兼容性

Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。

 

三、Spark的技术栈

Spark(一)Spark简介_hadoop_02

SparkCore:将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。

SparkSQL:Spark Sql 是Spark来操作结构化数据的模块,可以使用SQL语句的方式来查询数据,Spark支持多种数据源,如HDFS,FLume,Kafka等。

SparkStreaming: 是Spark提供的实时数据进行流式计算的组件。

MLlib:提供常用机器学习算法的实现库。

GraphX:提供一个分布式图计算框架,能高效进行图计算。

BlinkDB:用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon:以内存为中心高容错的的分布式文件系统。

 

四、Spark的运行模式


运行环境

模式

描述

Local

本地模式

常用于本地开发测试,如在eclipse,idea中写程序测试等。本地还分为local单线程和local-cluster多线程

Standalone

集群模式

Spark自带的一个资源调度框架,支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA

Yarn

集群模式

运行在yarn资源管理器框架之上,由yarn负责资源管理,Spark负责任务调度和计算

Mesos

集群模式

运行在mesos资源管理器框架之上,由mesos负责资源管理,Spark负责任务调度和计算

Kubernetes

集群模式

运行在Kubernetes资源管理的集群上,目前Kubernetes调度程序是实验性的


 



五、Spark的常用术语


术语

描述

 Application       

Spark的应用程序,包含一个Driver program和若干Executor

 SparkContext   

Spark应用程序的入口,负责调度各个运算资源,协调各个Worker Node上的Executor

 Driver Program

运行Application的main()函数并且创建SparkContext

 Executor


是为Application运行在Worker node上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。

每个Application都会申请各自的Executor来处理任务



 ClusterManager


在集群上获取资源的外部服务(例如:Standalone、Mesos、Yarn)

 Worker Node

集群中任何可以运行Application代码的节点,运行一个或多个Executor进程

 Task

运行在Executor上的工作单元

 Job

SparkContext提交的具体Action操作,常和Action对应

 Stage

每个Job会被拆分很多组task,每组任务被称为Stage,也称TaskSet

 RDD

是Resilient distributed datasets的简称,中文为弹性分布式数据集;是Spark最核心的模块和类

 DAGScheduler

根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler

 TaskScheduler

将Taskset提交给Worker node集群运行并返回结果

 Transformations


是Spark API的一种类型,Transformation返回值还是一个RDD, 所有的Transformation采用的都是懒策略,

如果只是将Transformation提交是不会执行计算的


 Action

是Spark API的一种类型,Action返回值不是一个RDD,而是一个scala集合;计算只有在Action被提交的时候计算才 被触发。


 





1 什么是Spark

官网地址:​​http://spark.apache.org/​

Spark(一)Spark简介_数据

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。




问题

工具只在解决了一些问题时才有用,对吧!那么让我们来讨论一下 Spark 能解决的问题。

我们需要(快速获取)答案

在批处理过程中,长时间等待运行作业的结果是意料中的事,在如今的企业中,需要快速(“近实时”)获取答案。大数据的属性(速度、数据量和种类)使得业务问题越来越难获得答案,但快速获取这些答案非常重要。

数据如此之多

数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等,数据源在不断增加。所有数据都需要经过一定的处理,这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据,以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据,这一点很重要!

A 与 B(以及 C、D 等等)有何关联?

您拥有所有这些有用的数据,从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果,从而确定哪些数据维至关重要,哪些毫无价值。

我们需要知道(何时)将会发生什么

您拥有所有这些宝贵的历史数据。太棒了!现在您需要分析它们,了解发生了什么和发生的原因,以便能预测接下来会发生什么。重要的是能够分析所有这些数据,以便预测将会发生的业务事件。

Apache Spark 不是什么

我们常常(且很容易)合并解决一组类似问题的两种或更多相关技术,而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误,让我们讨论一下它不是什么。

Hadoop

Hadoop 是一种大数据文件存储和数据处理框架,它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据,转换数据,并将数据写回磁盘。另一方面,Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据,这些步骤之间相互依赖(Gradle 也使用了一种 DAG),而且不会像 Hadoop(通过 Hadoop 分布式文件系统,HDFS)那样处理文件存储本身。

MapReduce

人们很容易将 Spark Core 与 MapReduce 混淆,因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法:读入数据,MapReduce 转换它,然后将数据写回到磁盘。如果需要另一次转换,则会重复这些步骤。另一方面,Spark 在内存中执行所有处理工作(如有必要,还会执行多次迭代),并使用 DAG 确定要执行步骤的最佳顺序。

与 Hadoop 相互排斥

Spark 被设计为与 Hadoop 兼容,所以 Hadoop 和 Spark 可以紧密协作。事实上,Spark 下载包含用于使用 HDFS(用于存储管理)和 YARN(用于资源管理和调度)的 Hadoop 客户端库。

解决方案

在一开始的时候,我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。

我们需要(快速获取)答案

近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据,所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍!

数据如此之多

或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时,需要将数据写入磁盘,然后读回进行 Map/Reduce 转换处理,接着再写回磁盘,然后才能交到分析师手中。

Spark Streaming 允许在内存中处理传入的数据,然后写入磁盘供以后扩充(如有必要)和进一步分析。

A 与 B(以及 C、D 等等)有何关联?

来自多个来源的数据(比如交易数据、社交媒体数据、单击流等)拥有隐藏的关联,梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度,但实际上却紧密关联。但要以有意义的方式实现此目的,需要灵活地转换数据(速度快没有坏处,对吧?),以便找到正确的方向。

Spark GraphX 结合了二者的优势:多个算法的灵活性,以及以各种不同方式转换和合并数据的速度。

我们需要知道(何时)将会发生什么

在预测未来时,拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件(当然还有硬件)。

Spark 的 MLib 具有很高的性能(惊讶吧?)机器学习 (ML) 库采用了大量经过实践检验的算法(比如分类、回归和聚类)、特制技术(比如转换和降维)和实用工具(比如线性代数和统计学)。



2 Spark与MapReduce的区别



都是分布式计算框架,Spark基于内存,MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序。


二、Spark的四大特性

1、高效性

官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流式数据的高性能。

2、易用性

Spark支持Java、Scala,Python和R的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。

3、通用性

Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力,毕竟任何公司都想用统一的平台去处理遇到的问题,减少开发和维护的人力成本和部署平台的物力成本。

4、兼容性

Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。

 

三、Spark的技术栈

Spark(一)Spark简介_hadoop_02

SparkCore:将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。

SparkSQL:Spark Sql 是Spark来操作结构化数据的模块,可以使用SQL语句的方式来查询数据,Spark支持多种数据源,如HDFS,FLume,Kafka等。

SparkStreaming: 是Spark提供的实时数据进行流式计算的组件。

MLlib:提供常用机器学习算法的实现库。

GraphX:提供一个分布式图计算框架,能高效进行图计算。

BlinkDB:用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon:以内存为中心高容错的的分布式文件系统。

 

四、Spark的运行模式


运行环境

模式

描述

Local

本地模式

常用于本地开发测试,如在eclipse,idea中写程序测试等。本地还分为local单线程和local-cluster多线程

Standalone

集群模式

Spark自带的一个资源调度框架,支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA

Yarn

集群模式

运行在yarn资源管理器框架之上,由yarn负责资源管理,Spark负责任务调度和计算

Mesos

集群模式

运行在mesos资源管理器框架之上,由mesos负责资源管理,Spark负责任务调度和计算

Kubernetes

集群模式

运行在Kubernetes资源管理的集群上,目前Kubernetes调度程序是实验性的


 



五、Spark的常用术语


术语

描述

 Application       

Spark的应用程序,包含一个Driver program和若干Executor

 SparkContext   

Spark应用程序的入口,负责调度各个运算资源,协调各个Worker Node上的Executor

 Driver Program

运行Application的main()函数并且创建SparkContext

 Executor


是为Application运行在Worker node上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。

每个Application都会申请各自的Executor来处理任务



 ClusterManager


在集群上获取资源的外部服务(例如:Standalone、Mesos、Yarn)

 Worker Node

集群中任何可以运行Application代码的节点,运行一个或多个Executor进程

 Task

运行在Executor上的工作单元

 Job

SparkContext提交的具体Action操作,常和Action对应

 Stage

每个Job会被拆分很多组task,每组任务被称为Stage,也称TaskSet

 RDD

是Resilient distributed datasets的简称,中文为弹性分布式数据集;是Spark最核心的模块和类

 DAGScheduler

根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler

 TaskScheduler

将Taskset提交给Worker node集群运行并返回结果

 Transformations


是Spark API的一种类型,Transformation返回值还是一个RDD, 所有的Transformation采用的都是懒策略,

如果只是将Transformation提交是不会执行计算的


 Action

是Spark API的一种类型,Action返回值不是一个RDD,而是一个scala集合;计算只有在Action被提交的时候计算才 被触发。