1. Spark概述
1.1. 什么是Spark（官网：http://spark.apache.org）
Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。
1.2. 为什么要学Spark
基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。这样增加任务的执行时间，降低效率。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。
1.3. Spark特点
- 快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。
- 易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。
- 通用：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。
- 兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。
2. Spark集群安装
2.1. 机器部署:
- 准备三台虚拟机，主机名分别为hadoop01，hadoop02，hadoop03，安装JDK1.7，并在每台机器的 /etc/hosts 文件中记录IP对应的主机名，并在每台机器上新建hadoop用户，在hadoop用户家目录下新建apps目录。
- 配置免密登录，在hadoop01机器的hadoop用户下 ssh-keygen (提示时，直接回车即可) 生成密钥对，再将hadoop01的公钥拷贝并追加到hadoop02、hadoop03的授权列表文件authorized_keys中 : ssh-copy-id 主机名
2.2 下载Spark安装包
上传spark-1.5.2-bin-hadoop2.6.tgz安装包到hadoop01机器上，解压安装包到指定位置
tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C /home/hadoop/apps2.3 配置Spark
进入到Spark安装目录
cd /home/hadoop/apps/spark-1.5.2-bin-hadoop2.6
进入conf目录并重命名spark-env.sh.template文件
cd conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在该配置文件中添加如下配置
export JAVA_HOME=/usr/local/jdk1.7.0_45/
export SPARK_MASTER_IP=hadoop01
export SPARK_MASTER_PORT=7077
保存退出
重命名并修改slaves.template文件
mv slaves.template slaves
vi slaves
在该文件中添加子节点所在的位置（Worker节点）
hadoop02
hadoop03
保存退出
将配置好的Spark拷贝到其他节点上
scp -r spark-1.5.2-bin-hadoop2.6/ hadoop02: /home/hadoop/apps
scp -r spark-1.5.2-bin-hadoop2.6/ hadoop03: /home/hadoop/appsSpark集群配置完毕，目前是1个Master，2个Work。
2.4 启动spark集群
在hadoop01上启动Spark集群
/home/hadoop/apps/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://hadoop01:8080/
3. 执行Spark程序
3.1 执行第一个spark程序：该算法是利用蒙特•卡罗算法求PI
/home/hadoop/apps/spark-1.5.2-bin-hadoop2.6/bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master spark://hadoop01:7077
–executor-memory 1G
–total-executor-cores 2
/usr/local/spark-1.5.2-bin-hadoop2.6/lib/spark-examples-1.5.2-hadoop2.6.0.jar 100 计算结果如下：
3.2 启动spark shell:
/home/hadoop/apps/spark-1.5.2-bin-hadoop2.6/bin/spark-shell
–master spark://hadoop01:7077
–executor-memory 1g
–total-executor-cores 2
参数说明：
--master spark://hadoop01:7077 指定Master的地址
--executor-memory 1g 指定每个worker可用内存为1G
--total-executor-cores 2 指定整个集群使用的cup核数为2个
注意：
如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。
Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用sc即可。3.3 在spark shell中编写WordCount程序
- 首先启动hdfs
- 向hdfs上传一个文件到hdfs://hadoop01:9000/words.txt
- 在spark shell中用scala语言编写spark程序
sc.textFile("hdfs://hadoop01:9000/words.txt").flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop01:9000/out")- 使用hdfs命令查看结果
hdfs dfs -ls hdfs://hadoop01:9000/out/p*
说明
sc是SparkContext对象，该对象时提交spark程序的入口
textFile(hdfs://hadoop01:9000/words.txt)是hdfs中读取数据
flatMap(.split(" "))先map在压平
map((,1))将单词和1构成元组
reduceByKey(+)按照key进行reduce，并将value累加
saveAsTextFile(“hdfs://hadoop01:9000/out”)将结果写入到hdfs中
3.3. 在IDEA中编写WordCount程序
spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。
- 创建一个项目
- 选择Maven项目，然后点击next
- 填写maven的坐标，然后点击next
- 填写项目名称，然后点击finish
- 创建好maven项目后，点击Enable Auto-Import
- 配置Maven的pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.mylove.spark</groupId>
<artifactId>hello-spark</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<encoding>UTF-8</encoding>
<scala.version>2.10.6</scala.version>
<spark.version>1.6.1</spark.version>
<hadoop.version>2.6.4</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.38</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-flume_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-make:transitive</arg>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass>com.mylove.spark.WordCount</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>- 分别新建src/main/scala和src/test/scala文件夹并标注为资源文件夹，与pom.xml中的配置保持一致
- 新建一个scala class，类型为Object
- 编写spark程序
package com.mylove.spark.com.mylove.spark
import org.apache.spark.{SparkConf,SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
//非常重要，是通向Spark集群的入口
val conf = new SparkConf().setAppName("wordcount")
val sc = new SparkContext(conf)
// textFile会产生两个RDD HadoopRDD MapPartitionsRDD
sc.textFile(args(0))
//产生一个RDD:MapPartitionsRDD
.flatMap(_.split(" "))
//产生一个RDD:MapPartitionsRDD
.map((_,1))
//产生一个RDD:ShuffledRDD
.reduceByKey(_+_)
//产生一个RDD:MapPartitionsRDD
.saveAsTextFile(args(1))
sc.stop()
}
}- 使用Maven打包
- 首先修改pom.xml中的main class
- 点击idea右侧的Maven Project选项
- 点击Lifecycle,选择clean和package，然后点击Run Maven Build
*
- 选择编译成功的jar包，并将该jar上传到Spark集群中的某个节点上
- 首先启动hdfs和Spark集群
启动hdfs
//hadoop01机器
/home/hadoop/apps/hadoop-2.6.4/sbinstart-dfs.sh启动spark
//hadoop01机器
/home/hadoop/apps/spark-1.6.1/sbin/start-all.sh- 使用spark-submit命令提交Spark应用（注意参数的顺序）
apps/spark-1.6.1/bin/spark-submit
--class com.mylove.spark.WordCount
--master spark://hadoop01:7077
--executor-memory 2G
--total-executor-cores 4
/home/hadoop/hello-spark-1.0-SNAPSHOT.jar
hdfs://hadoop01:9000/wc/*
hdfs://hadoop01:9000/out查看程序执行结果:
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
