本文主要内容为:
通过spark提取hive中的数据
先说一下主要的需求：从数据库种取姓名和编号，如果num为111，或者222，那编号为id，如果id为5为去除前两位，如果id为3位直接用；
如果num不等于111，或者222那么编号取id，
返回结果name_bianhao
（1）准备
SparkSession session = SparkConfig.Instance();
Encoder<String> stringEncoder = Encoders.STRING();
JavaSparkContext jsc = SparkConfig.Instance(session);
（2）提取
private static JavaPairRDD<String, String> getnameId (SparkSession session, String table_name, Encoder < String > stringEncoder, String time){
//首先进入指定数据库
session.sql("use shujukuName");//获取表中某个分区的字段
//此处示例为提取表table_name的time分区中的name、Id和num字段，且保证name不为空
JavaPairRDD<String, String> name_bianhao= session.sql("select name,Id,num from " + table_name+ " where p = '" + time + "' and name!= ''")//对提取到的两个数据都做处理
.map(new MapFunction<Row, String>() {
@Override
public String call(Row value) throws Exception {//返回两个字段name Id num
return value.getString(0) + "," + value.getString(1)+ "," + value.getString(2);
}
}, stringEncoder).toJavaRDD().filter(new Function<String, Boolean>() {
@Override
//过滤字段长度正确的数据
public Boolean call(String v1) throws Exception {
String[] split = v1.split(",", -1);
return split[0].length() >0 && split[1].length() >= 3 &&split[2].length()==3;
}//对数据按照按照逗号分割
}).map(new Function<String, String[]>() {
@Override
public String[] call(String s) throws Exception {
return s.split(",", -1);
}
//此处做了一个判断，如果num字段为111，或者222，那么就取字段id本身（如果字段id长度为5，去掉前两位，如果为3位，取本身）否则取字段num
}).mapToPair(new PairFunction<String[], String, String>() {
@Override
public Tuple2<String, String> call(String[] arr) throws Exception {
String number = "";
if ("111".equals(arr[2]) || "222".equals(arr[2])) {
if (arr[1].length() == 5) {
number = arr[1].substring(2, 5);
} else if (arr[1].length() == 3) {
number = arr[1];
}
} else if (!"111".equals(arr[2]) && !"222".equals(arr[2])) {
number = arr[2];
}
return new Tuple2<>( arr[0],number);
}
//去重
}).distinct();
return name_bianhao;
}
