package sparkcore
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Demo04FlatMap {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setAppName("FlatMap").setMaster("local")
val sc = new SparkContext(conf)
val lineRDD: RDD[String] = sc.parallelize(List("java,spark,hadoop","spark,java,hadoop"))
/**
* flatMap:将一行转换成多行
*/
val wordsRDD: RDD[String] =lineRDD.flatMap(line=>{
println("flatMap:"+line)
line.split(",")
})
wordsRDD.foreach(println)
}
}
FlatMap
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Saprk flatMap
Saprk flatMap
spark List 扁平化 -
spark java flatmap用法 java map flatmap
1.前言Java 8 提供了非常好用的 Stream API ,可以很方便的操作集合。今天我们探讨两个 Stream 中间操作 map 和 flatMap2. map 操作map 操作是将流中的元素进行再次加工形成一个新流。这在开发中很有用。比如我们有一个学生集合,我们需要从中提取学生的年龄以分析学生的年龄分布曲线。放在 Java 8 之前 我们要通过新建一个集合然后通
java8 list 转map java8 list转map java8 map转list list转map stream