目录

  • ​​spark outline​​
  • ​​Spark filter 功能​​
  • ​​案例演示​​

spark outline

​​大纲目录​​

Spark filter 功能

过滤出符合条件的数据，如果符合条件，这些元素会被添加到新的RDD中

案例演示

需求：给出List(“wangqiao”, “xiaojing”, “hanqi”, “chengjing”, “xiaohao”)，过滤出包含jing的字符串，然后输出到控制台，形式如下

xiaojing
chengjing

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform
 * @Desc : 过滤出符合条件的数据
 */
object Spark06_Filter {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark06_Filter").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //创建RDD
    val rdd: RDD[String] = sc.makeRDD(List("wangqiao", "xiaojing", "hanqi", "chengjiang", "xiaohao"))
    //过滤出符合条件的RDD
    val filterRDD: RDD[String] = rdd.filter((s: String) => {
      s.contains("jing")
    })
    //打印输出
    filterRDD.collect().foreach(println)
    //释放资源
    sc.stop()

  }
}