1.问题描述
最近使用spark sql执行etl时候出现了,最终结果大小只有几百k,但是小文件一个分区有上千的情况。
危害:
hdfs有最大文件数限制
浪费磁盘资源(可能存在空文件);
hive中进行统计,计算的时候,会产生很多个map,影响计算的速度。
2.解决方法
方法一:通过spark的coalesce()方法和repartition()方法
val rdd2 = rdd1.coalesce(8, true) (true表示是否shuffle)
val rdd3 = rdd1.repartition(8)
说明:
coalesce:coalesce()方法的作用是返回指定一个新的指定分区的Rdd,
如果是生成一个窄依赖的结果,那么可以不发生shuffle,
分区的数量发生激烈的变化,计算节点不足,不设置true可能会出错。
repartition:coalesce()方法shuffle为true的情况。
但是由于使用的是同事直接写好的模块,改新增函数相对比较麻烦,所以作为后手。
方法二:降低spark并行度,即调节spark.sql.shuffle.partitions
比如之前设置的为100,按理说应该生成的文件数为100;
但是由于业务比较特殊,采用的大量的union all,且union all在spark中属于窄依赖,
不会进行shuffle,所以导致最终会生成(union all数量+1)*100的文件数。
如有10个union all,会生成1100个小文件。
这样导致降低并行度为10之后,执行时长大大增加,且文件数依旧有110个,效果有,但是不理想。
方法三:新增一个并行度=1任务,专门合并小文件。
先将原来的任务数据写到一个临时分区(如tmp);
再起一个并行度为1的任务,类似:
insert overwrite 目标表 select * from 临时分区
但是结果小文件数还是没有减少,略感疑惑;
经过多次测后发现原因:‘select * from 临时分区’ 这个任务在spark中属于窄依赖;
并且spark DAG中分为宽依赖和窄依赖,只有宽依赖会进行shuffle;
故并行度shuffle,spark.sql.shuffle.partitions=1也就没有起到作用;
由于数据量本身不是特别大,所以直接采用了group by(在spark中属于宽依赖)的方式,类似:
insert overwrite 目标表 select * from 临时分区 group by *
先运行原任务,写到tmp分区,‘dfs -count’查看文件数,1100个,运行加上group by的临时任务(spark.sql.shuffle.partitions=1),查看结果目录,文件数=1,成功。
最后又加了个删除tmp分区的任务。
2.结论
方便的话,可以采用coalesce()方法和repartition()方法
如果任务逻辑简单,数据量少,可以直接降低并行度
任务逻辑复杂,数据量很大,原任务大并行度计算写到临时分区,再加两个任务:
一个用来将临时分区的文件用小并行度(加宽依赖)合并成少量文件到实际分区;
另一个删除临时分区;
hive任务减少小文件相对比较简单,可以直接设置参数,如:
Map-only的任务结束时合并小文件:
sethive.merge.mapfiles = true
在Map-Reduce的任务结束时合并小文件:
sethive.merge.mapredfiles= true
当输出文件的平均大小小于1GB时,启动一个独立的map-reduce任务进行文件merge:
sethive.merge.smallfiles.avgsize=1024000000
3.案例
背景:
flink任务会产生很多小文件,影响namenode性能,需要合并小文件
核心思想:
1.读取hive数据转为DataFrame
2.DataFrame使用coalesce(1)合并为一个文件
3.创建视图,overwrite插入
代码:
/**
* 控制输出文件的个数DataFrame输出结果保存为文件时,可以控制输出文件的的个数,从而减少小文件的个数
* DataFrame.coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("分区条件列名").save("路径")
* @param spark
* @param startdate
* @param enddate
*/
class MergeOds(spark: SparkSession, startdate: LocalDate, enddate: LocalDate) extends Serializable {
var dateLocalDate: LocalDate = null
if (startdate != null)
dateLocalDate = startdate
else
dateLocalDate = LocalDate.now().minusDays(1) //默认统计昨日
val dateString = dateLocalDate.format(DateTimeFormatter.ISO_LOCAL_DATE)
var enddateLocalDate: LocalDate = null
if (enddate != null)
enddateLocalDate = enddate
else
enddateLocalDate = LocalDate.now().minusDays(1) //默认统计昨日
val enddateString = enddateLocalDate.format(DateTimeFormatter.ISO_LOCAL_DATE)
val db = "ods"
val table = "ods_shop_original_front_point"
spark.sql(s"msck repair table $db.$table")
spark.sql(
s"""
|select * from $db.$table
|where pdate >= '$dateString'
|and pdate <= '$enddateString'
|""".stripMargin).coalesce(1).createTempView(table)
spark.sql(
s"""
|insert overwrite table $db.$table partition(pdate)
|select * from $table
|""".stripMargin)
}