今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:
package com.company.scala.lk import org.apache.spark.streaming._ /** * Created by kai on 15/1/14. */ object SparkStreamingTest { def loadFile(): Unit = { val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15)) val fileStreaming = ssc.textFileStream("/user/kai") val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print() ssc.start() ssc.awaitTermination() } def main(args: Array[String]) { loadFile() } }
IDE里面提示找不到“reduceByKey”方法,但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了,然后各种版本确认之后也没发现问题(我用的Spark1.2.0版本),一时无解。
没办法,上网查吧,最后在Spark的mailing list中找到线索:
原来是缺少“import StreamingContext._”,Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。
查看Spark的源代码,在StreamingContext文件中找到如下代码:
implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)]) (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = { new PairDStreamFunctions[K, V](stream) }
可以看到,上面的隐式转换函数会将DStream转换为PairDStreamFunctions。
隐式转换函数需要额外import,否则无法正常转换。
可以直接import转换函数:
import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions
或者import org.apache.spark.streaming.StreamingContext._