六、Hive函数
1.函数自定义
1）UDF （常用） 一进一出
<1>UDF 函数可以直接应用于 select 语句，对查询结构做格式化处理后，再 输出内容。
<2>编写 UDF 函数的时候需要注意一下几点：
a）自定义 UDF 需要继承 org.apache.hadoop.hive.ql.UDF。
b）需要实现 evaluate 函数，evaluate 函数支持重载。
<3>步骤
a）把程序打包放到目标机器上去；
b）进入 hive 客户端，添加 jar 包：hive>add jar /jar/udf_test.jar;(清除缓存 时记得删除jar包delete jar /*)
c）创建临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
d）查询 HQL 语句：
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;
e）销毁临时函数：hive> DROP TEMPORARY FUNCTION add_example;
2）UDAF聚集函数，多进一出
多行进一行出，如 sum()、min()，用在 group by 时
<1>必须继承org.apache.hadoop.hive.ql.exec.UDAF(函数类继承)
org.apache.hadoop.hive.ql.exec.UDAFEvaluator(内部类 Eval uator 实现 UDAFEvaluator 接口)
<2>Evaluator 需要实现 init、iterate、terminatePartial、merge、t erminate 这 几个函数
· init():类似于构造函数，用于 UDAF 的初始化
· iterate():接收传入的参数，并进行内部的轮转，返回 boolean
· terminatePartial():无参数，其为 iterate 函数轮转结束后，返回轮转数据， 类似于 hadoop 的 Combinermerge():接收 terminatePartial 的返回结果， 进行数据 merge 操作，其返回类型为 boolean
·terminate():返回最终的聚集函数结果
3）UDTF，一进多出
一进多出，如 lateralview explore()
使用方式 ：在HIVE会话中add自定义函数的jar 文件，然后创建 function 继 而使用函数； 这些函数都是针对单元格值的，并不是针对行的。
七、Hive数据储存
Hive没有专门的存储结构，数据表，视图，元数据等等都可以；而且也没有专门的数据存储格式，textFile、RCFile都可以的；
Hive只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。
那么分割符都有那些呢，默认的话是列分隔符“ctrl+A”
默认行分隔符是“/n”
八、Hive表
1.Hive表常用的存储格式
textfile 默认格式 行存储
sequencefile 二进制文件 行存储
rcfile 按行分块 按列存储
orc 按行分块 按列存储
2.Hive索引（了解）
一个表上创建索引创建一个索引使用给定的列表的列作为键
3.Hive工作原理
首先用户先将任务交给Diver
接着编译器获得这个用户的plan，并根据这个用户的任务去metaStore获取需要的Hive元数据信息
然后进行对任务的编译，将HQL先后转换为抽象语法树、查询块、逻辑计划、最后转为物理计划（mapreduce），最终选择最优方案提交给Diver
Diver将这个最优方案转交给excutionengion执行，将获得的元数据信息交给jobTracker或者sourceManager执行该任务
最终这个任务会直接读取HDFS中的文件进行操作，取得并返回结果
