package sparkcore
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Demo07GroupByKey {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setAppName("GroupByKey").setMaster("local")
val sc = new SparkContext(conf)
val linesRDD: RDD[String] = sc.textFile("data/words.txt")
//flatmap将数据进行切分,一行切成多行
val wordsRDD: RDD[String] = linesRDD.flatMap(_.split(","))
// wordsRDD.foreach(println)
//将切好的一个个单词进行map,转换成kv格式
val kvRDD: RDD[(String, Int)] = wordsRDD.map(word => (word, 1))
/**
* groupByKey:通过key进行分组,将value放在迭代器中
* groupBy:指定一个分组的列
*
* 都会产生shuffle
*/
val groupByKeyRDD: RDD[(String, Iterable[Int])] = kvRDD.groupByKey()
val countRDD: RDD[(String, Int)] =groupByKeyRDD.map {
case (word: String, values: Iterable[Int]) =>
(word, values.sum)
}
countRDD.foreach(println)
val groupByRDD: RDD[(String, Iterable[(String, Int)])] = kvRDD.groupBy(kv => kv._1)
groupByRDD.foreach(println)
}
}
GroupByKey
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
上一篇:DNCP和DNS服务器搭建
下一篇:算子map
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Artemis 命令用法
Artemis高级用法
读取文件 shell脚本 批量删除 mq artemis -
groupbykey之后 spark spark的groupbykey方法
决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第3期互动问答分享】 Q1: groupbykey是排好序的吗?分组排序怎么实现? groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的; &n
groupbykey之后 spark spark教程 spark问答 spark热点 spark技术