presto 使用hive udf hive与presto

Presto介绍

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。
注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）

Presto架构

Presto优缺点

Presto、Impala性能比较

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。

Presto优化之数据存储

1. 合理设置分区
   与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。
2. 使用列式存储
3. Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好
4. 使用压缩
   数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

Presto优化之查询SQL

1. 只选择使用的字段
   由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。
2. 过滤条件必须加上分区字段
   对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。
3. Group By语句优化
   合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列

[GOOD]: SELECT GROUP BY uid, gender
[BAD]:  SELECT GROUP BY gender, uid

5. Order by时使用Limit
   Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。
6. 使用Join语句时将大表放在左边
   Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

注意事项

1. 不支持INSERT OVERWRITE语法
   Presto中不支持insert overwrite语法，只能先delete，然后insert into。
2. PARQUET格式
   Presto目前支持Parquet格式，支持查询，但不支持insert。