hive 自增数据 hive自增函数

文章目录

• Hive 函数4

• 3、 自定义函数
• 4、 自定义 UDF 函数

Hive 函数4

3、 自定义函数

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。

2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

3）根据用户自定义函数类别分为以下三种：

（1）UDF（User-Defined-Function）

• 一进一出

（2）UDAF（User-Defined Aggregation Function）

• 用户自定义聚合函数，多进一出
• 类似于：count/max/min

（3）UDTF（User-Defined Table-Generating Functions）

• 用户自定义表生成函数，一进多出
  如lateral view explode()

4）官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

5）编程步骤：

• （1）继承 Hive 提供的类

• org.apache.hadoop.hive.ql.udf.generic.GenericUDF
• org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

• （2）实现类中的抽象方法
• （3）在 hive 的命令行窗口创建函数
• 添加jar

add jar linux_jar_path

• 创建function

create [temporary] function [dbname.]function_name AS class_name;

• （4）在hive的命令行窗口删除函数

drop [temporary] function [if exists] [dbname.]function_name;

4、 自定义 UDF 函数

1）需求:

• 自定义一个UDF实现计算给定基本数据类型的长度，例如：

hive(default)> select my_len("abcd");

2）创建一个 Maven 工程 Hive

3）导入依赖

<dependencies>
	<dependency>
		<groupId>org.apache.hive</groupId>
		<artifactId>hive-exec</artifactId>
		<version>3.1.2</version>
	</dependency>
</dependencies>

4）创建一个类

/**
 * 我们需计算一个要给定基本数据类型的长度
 */
public class MyUDF extends GenericUDF {
    /**
     * 判断传进来的参数的类型和长度
     * 约定返回的数据类型
     * @param arguments
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        if (arguments.length !=1) {
            throw  new UDFArgumentLengthException("please give me  only one arg");
        }
        if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){
            throw  new UDFArgumentTypeException(1, "i need primitive type arg");
        }
        return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
    }

    /**
     * 解决具体逻辑
     * @param arguments
     * @return
     * @throws HiveException
     */
    @Override
    public Object evaluate(DeferredObject[] arguments) throws HiveException {
        Object o = arguments[0].get();
        if(o==null){
            return 0;
        }
        return o.toString().length();
    }

    @Override
    // 获取解释的字符串
    public String getDisplayString(String[] children) {
        return "";
    }
}

5）创建临时函数

（1）打成jar包上传到服务器/opt/module/hive-3.1.2/datas/myfirstudf.jar

（2）将jar包添加到 hive 的 classpath，临时生效

0: jdbc:hive2://hadoop105:10000> add jar /opt/module/hive-3.1.2/datas/myfirstudf.jar;
INFO  : Added [/opt/module/hive-3.1.2/datas/myfirstudf.jar] to class path
INFO  : Added resources: [/opt/module/hive-3.1.2/datas/myfirstudf.jar]
No rows affected (0.117 seconds)

months_between               
  murmur_hash               
| my_len                       |
  named_struct               
  negative  
290 rows selected (0.25 seconds)

（3）创建临时函数与开发好的 java class 关联

0: jdbc:hive2://hadoop105:10000> create temporary function my_len as "com.xiaoxq.hive.MyFirstUDF";

（4）即可在 hql 中使用自定义的临时函数

0: jdbc:hive2://hadoop105:10000> select my_len();
Error: Error while compiling statement: FAILED: SemanticException [Error 10015]: Line 1:7 Arguments length mismatch 'my_len': please give me  only one arg (state=21000,code=10015)
--类型不符合的，个数不符合的会根据我们定义的语句报错

0: jdbc:hive2://hadoop105:10000> select my_len(111);
+------+
| _c0  |
+------+
| 3    |
+------+

（5）删除临时函数

0: jdbc:hive2://hadoop105:10000> drop  temporary function my_len;

  months_between               
  murmur_hash               
-- 删除了
  named_struct               
  negative
289 rows selected (0.056 seconds)

注意：临时函数只跟会话有关系，跟库没有关系。只要创建临时函数的会话不断，在当前会话下，任意一个库都可以使用，其他会话全都不能使用。

5）创建永久函数

（1）创建永久函数

• 注意 因为 add jar 本身也是临时生效,所以在创建永久函数的时候，需要制定路径(并且因为元数据的原因,这个路径还得是 hdfs 上的路径)(在HDFS上的话，使用函数时会自动加载 add jar)

[xiaoxq@hadoop105 datas]$ hadoop fs -mkdir /udf
[xiaoxq@hadoop105 datas]$ hadoop fs -put myfirstudf.jar /udf/

0: jdbc:hive2://hadoop105:10000> add jar /opt/module/hive-3.1.2/datas/myfirstudf.jar;
0: jdbc:hive2://hadoop105:10000> create function my_len2 as "com.xiaoxq.hive.MyFirstUDF" using jar "hdfs://hadoop105:9820/udf/myfirstudf.jar";

default.my_len2 
290 rows selected (0.079 seconds)

（2）即可在 hql 中使用自定义的永久函数

0: jdbc:hive2://hadoop105:10000> select default.my_len(111);

（3）删除永久函数

0: jdbc:hive2://hadoop105:10000> drop function default.my_len2;

注意：

• 永久函数跟会话没有关系，创建函数的会话断了以后，其他会话也可以使用。
• 永久函数创建的时候，在函数名之前需要自己加上库名，如果不指定库名的话，会默认把当前库的库名给加上。
• 永久函数使用的时候，需要在指定的库里面操作,或者在其他库里面使用的话加上库名.函数名