第2期Spark纯实战公益大讲坛：通过案例实战掌握Spark编程模型内幕

 

运行spark代码：

sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
 sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")

 

应用于广告点击排名

1、sc ：spark shell运行的上下文

2、textFile("hdfs://...") 从hadoop hdfs中读取文件

3、faltMap(_.split("")) 将字符串以空格拆分

4、map(_,1) 统计单词计数

5、reduceByKey(_+_). 汇总累计

6.  map(x=>(x._2),x._1)).  交换对偶对，次数在前，按单词出现次数排序

7、sortByKey(false). 按x._2排序 false是降序

8、map(x=>(x._2),x._1)). 再次交换对偶次序，单词在前

9、saveASTextFile(hdfs://...") 保存在hadoop hdfs文件中

 

为何有job0 运行？因为里面用到了RangePartitioner

 

 

DT大数据微信公众账号：DT_Spark

DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group