Hive快速入门系列(11) | Hive的自定义函数

  本次博主为大家带来的是Hive的自定义函数。

 

---

一. 系统内置函数

• 查看系统自带的函数

hive> show functions;

  我们可以看到hive自带的函数就有两百多个,但我们平时经常用到的可能就那么几个,并且自带的函数功能还十分受限!有时候,为了更好的实现业务需求,这时就需要我们去自定义Hive!在介绍自定义函数之前，还是要把系统内置函数的使用方法介绍一下。

• 显示自带的函数的用法

hive> desc function upper(函数名称);

• 详细显示自带的函数的用法

hive> desc function extended upper(函数名称);

二. 自定义函数

  当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
根据用户自定义函数类别分为以下三种：

• （1）UDF（User-Defined-Function）
  一进一出

• （2）UDAF（User-Defined Aggregation Function）
  聚集函数，多进一出
  类似于：count/max/min

• （3）UDTF（User-Defined Table-Generating Functions）
  一进多出
  如lateral view explore()

编程步骤：

（1）继承org.apache.hadoop.hive.ql.exec.UDF
（2）需要实现evaluate函数；evaluate函数支持重载；
（3）在hive的命令行窗口创建函数
  1. 添加jar
   java add jar linux_jar_path
  2. 创建function
   java create [temporary] function [dbname.]function_name AS class_name;
（4）在hive的命令行窗口删除函数

Drop [temporary] function [if exists] [dbname.]function_name; ```

注意事项：

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

三. 自定义UDF函数

• 1. 创建一个Maven工程Hive，并导入依赖

<dependencies>
		<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>1.2.1</version>
		</dependency>
</dependencies>

• 2. 创建一个类Lower

package com.buwenbuhuo.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:07
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
public class Lower extends UDF {

    public String evaluate (final String s) {

        if (s == null) {
            return null;
        }

        return s.toLowerCase();
    }
}

• 3. 打包并上传到服务器
  
  
• 4. 将jar包添加到hive的classpath

hive (default)> add jar /opt/module/hive/lib/udf.jar;

• 5. 创建临时函数与开发好的java class关联(永久的函数将temporary删掉)

hive (default)> create temporary function mylower as "com.buwenbuhuo.hive.Lower";

• 6. 调用验证

hive (myhive)> select id, mylower(id) lowername from stu2;

四. 通过reflect调用java方法

  是不是感觉上述方法略显繁琐。下面介绍的就是简单方法

• 1. 打包上传业务逻辑

package com.buwenbuhuo.hive;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:36
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
class JAVA_02  {

    public static String addInfo(String info){


        return info+"__, I love Hive! __ ";


    }
}

• 2. 将jar包添加到hive

hive (myhive)> add jar /opt/module/hive/lib/hive_java.jar;

• 3. 调用

select reflect (‘参数一’,‘参数二’,‘参数三’)

参数一: 包名-类名
参数二: 方法名
参数三:需要计算的数据

本次的分享就到这里了,

---