如果我们在Driver端定义一个变量，然后将该变量发送Executor端进行累加赋值操作，那么Driver端的变量值会发生改变吗？答案是不会，因为Executor端操作的是变量的副本，并不能影响Driver端的变量值。如何在这样的分布式系统中实现变量的共写呢？这就要用到累加器

一、累加器实现原理

累加器是Spark 计算框架为了能够进行高并发和高吞吐的数据处理封装的三大数据结构之一，功能是实现分布式共享只写变量。累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量，在Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后，传回 Driver 端进行merge。以此来实现变量的共写。

在很多场合我们都可以巧妙利用累加器替代转换算子实现一些功能，避免转换算子带来的shuffle操作，从而提升程序性能

二、累加器的使用方法

累加器具体操作一般会放在行动算子中，若放在转换算子中可能会因为转换算子的执行次数而出现多加或者少加的情况

1.系统累加器

系统自带了一些累加器，有longAccumulator、doubleAccumulator和collectionAccumulator等类型的累加器

val rdd = sc.makeRDD(List(1,2,3,4,5))
// 声明累加器
var sum = sc.longAccumulator("sum");
rdd.foreach(
 num => {
 // 使用累加器
 sum.add(num)
 } )
// 获取累加器的值
println("sum = " + sum.value)

2.自定义累加器

有时候系统累加器并不能满足我们的需求，这时我们可以自定义累加器。

自定义累加器需要继承AccumulatorV2接口，并重写相关方法

/*
      自定义数据累加器：WordCount

      1. 继承AccumulatorV2, 定义泛型
         IN : 累加器输入的数据类型 String
         OUT : 累加器返回的数据类型 mutable.Map[String, Long]

      2. 重写方法（6）
     */
    class MyAccumulator extends AccumulatorV2[String, mutable.Map[String, Long]] {

        private var wcMap = mutable.Map[String, Long]()

        // 判断是否初始状态
        override def isZero: Boolean = {
            wcMap.isEmpty
        }

        override def copy(): AccumulatorV2[String, mutable.Map[String, Long]] = {
            new MyAccumulator()
        }

        override def reset(): Unit = {
            wcMap.clear()
        }

        // 获取累加器需要计算的值
        override def add(word: String): Unit = {
            val newCnt = wcMap.getOrElse(word, 0L) + 1
            wcMap.update(word, newCnt)
        }

        // Driver合并多个累加器
        override def merge(other: AccumulatorV2[String, mutable.Map[String, Long]]): Unit = {

            val map1 = this.wcMap
            val map2 = other.value

            map2.foreach{
                case ( word, count ) => {
                    val newCount = map1.getOrElse(word, 0L) + count
                    map1.update(word, newCount)
                }
            }
        }

        // 累加器结果
        override def value: mutable.Map[String, Long] = {
            wcMap
        }
    }
}

使用自定义累加器时需要先创建累加器对象，然后向Spark注册才能使用

// 创建累加器对象
	    val wcAcc = new MyAccumulator()
		// 向Spark进行注册
	    sc.register(wcAcc, "wordCountAcc")
        rdd.foreach(
            word => {
                // 数据的累加（使用累加器）
                wcAcc.add(word)
            }
        )

        // 获取累加器累加的结果
        println(wcAcc.value)