目录Spark on hive 与 Hive on Spark 的区别Hive查询流程及原理Hive将SQL转成MapReduce执行速度慢Hive On Spark优化Hive元数据库的功能Hive开启MetaStore服务Spark on hive 与 Hive on Spark 的区别Spark on hiveSpark通过Spark-SQL使用hive 语句,操作hive,底层运行的还是
文章目录1.UDF2.UDAF3.Mysql数据源1.UDFobject Spark03 { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("Sql").setMaster("local")
1、发现问题今天在执行一段hive脚本时遇到报错。脚本简化后示例如下：set hive.auto.convert.join=true;
add jar hdfs://nsha/user/dw/udf/dw.hive.udf.jar;
create temporary function myudf as 'com.xxx.dw.hive.udf.myUDF';
select
a.apply_no
背景：在处理500个GB历史数据orderBy('key')时候遇到的shuffle问题org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0 partition 0一般在执行数据量较大的spark任务时经常会出现MetadataFetchFailedExcept
参考Spark官网 场景UDAF = USER DEFINED AGGREGATION FUNCTION上一篇文章已经介绍了spark sql的窗口函数，并知道spark sql提供了丰富的内置函数供猿友们使用，辣为何还要用户自定义函数呢？实际的业务场景可能很复杂，内置函数hold不住，所以spark sql提供了可扩展的内置函数接口：哥们，你的业务太变态了，我满足不了你，自己按照我的规范去定义一
