1、内置函数

hive提取中文的函数_hive提取中文的函数

2、数学函数

round(四舍五入):

hive> select round(45.3456,2),round(6.56787,-1);
+------------------+-------------------+
| round(45.3456,2) | round(6.56787,-1) |
+------------------+-------------------+
|            45.35 |                10 |
+------------------+-------------------+
1 row in set (0.00 sec)

ceil(向上取整):

hive> select ceil(56.9);
+------------+
| ceil(56.9) |
+------------+
|         57 |
+------------+
1 row in set (0.00 sec)

floor(向下取整):

hive> select ceil(56.9);
+------------+
| ceil(56.9) |
+------------+
|         56 |
+------------+
1 row in set (0.00 sec)

3、字符函数

lower(转小写):

hive> select lower('HAHA');
+---------------+
| lower('HAHA') |
+---------------+
| haha          |
+---------------+
1 row in set (0.00 sec)

upper(转大写):

hive> select upper('haha');
+---------------+
| upper('haha') |
+---------------+
| HAHA          |
+---------------+
1 row in set (0.00 sec)

length(字符串长度,字符数):

hive> select length('Are you OK?');
+-----------------------+
| length('Are you OK?') |
+-----------------------+
|                    11 |
+-----------------------+
1 row in set (0.00 sec)

concat(字符串拼接):

hive> select concat('Are','you OK');
+------------------------+
| concat('Are','you OK') |
+------------------------+
| Areyou OK              |
+------------------------+
1 row in set (0.00 sec)

substr(求子串):

substr(a,b):从字符串a中,第b位开始取,取右边所有的字符

substr(a,b,c):从字符串a中,第b为开始取,取c个字符

注意:空格算占用一个字符的空间

hive> select substr('Are you OK?',3);
+-------------------------+
| substr('Are you OK?',3) |
+-------------------------+
| e you OK?               |
+-------------------------+
1 row in set (0.00 sec)
hive> select substr('Are you OK?',3,5);
+---------------------------+
| substr('Are you OK?',3,5) |
+---------------------------+
| e you                     |
+---------------------------+
1 row in set (0.00 sec)

trim(去前后空格):

hive> select trim(' Are you OK ');
+----------------------+
| trim(' Are you OK ') |
+----------------------+
| Are you OK           |
+----------------------+
1 row in set (0.00 sec)
mysql>

lpad(左填充)rpad(右填充)

**hive> select lpad('abc',10,'*');
+--------------------+
| lpad('abc',10,'*') |
+--------------------+
| *******abc         |
+--------------------+
1 row in set (0.00 sec)
hive> select rpad('abc',10,'*');
+--------------------+
| rpad('abc',10,'*') |
+--------------------+
| abc*******         |
+--------------------+
1 row in set (0.00 sec)
**

4、集合函数

size:返回map集合的个数

格式:size(map(<key,value>,<key,value>))

hive> select str_to_map('a:1,b:2,c:3');
OK
{"a":"1","b":"2","c":"3"}
Time taken: 0.457 seconds, Fetched: 1 row(s)
hive> select size(str_to_map('a:1,b:2,c:3'));
OK
3

map_keys:返回map集合数

hive> select map_keys(str_to_map('a:1,b:2'));
OK
["a","b"]
Time taken: 0.034 seconds, Fetched: 1 row(s)

array_contains:判断键是否存在

hive> select array_contains(map_keys(str_to_map('a:1,b:2')),'a');

sort_array:数组排序

hive> select sort_array(split('45,23,78,43,12',','));

5、转换函数

cast:转换数据类型

hive> select cast('2018-06-28' as date);
+----------------------------+
| cast('2018-06-28' as date) |
+----------------------------+
| 2018-06-28                 |
+----------------------------+
1 row in set (0.00 sec)

6、日期函数

  • to_date:从一个字符串中取出为日期的部分
  • year、month、day:从一个日期中取出相应的年、月、日
hive> select year(from_unixtime(unix_timestamp(),'yyyy-MM-dd'));
  • weekofyear:返回输入日期在该年中是第几个星期
  • datediff:两个日期相减,返回相差天数
  • date_add:在一个日期基础上增加天数
  • date_sub:在一个日期基础上减去天数

7、条件函数

if:如果testCondition为 true 就返回 valueTrue,否则返回 valueFalseOrNull

hive> select if
    > (1>2,'hehe','xixi');
OK
xixi
Time taken: 0.061 seconds, Fetched: 1 row(s)

nvl: value为null 返回default_value 否则返回value

hive> select nvl(null,1);
OK
1
Time taken: 0.036 seconds, Fetched: 1 row(s)
hive> select nvl(1,3);
OK
1
Time taken: 0.039 seconds, Fetched: 1 row(s)
hive> select nvl(null,null);
OK
NULL
Time taken: 0.034 seconds, Fetched: 1 row(s)

coalesce:从左到右返回第一个不为null的值

hive> select coalesce(null,null,null);
OK
NULL
Time taken: 0.042 seconds, Fetched: 1 row(s)
hive> select coalesce(null,null,null,123,34,456);
OK
123
Time taken: 0.041 seconds, Fetched: 1 row(s)

case…when…:条件表达式

hive> select name,orderdate,cost,case cost when 29 then 'hehe' else 'xixi' end from order;

语法格式:case A when B then C [when D then E]* [else F] end

解释:对于A来说,如果判断为B则返回C,如果判断为D则返回E(此处判断条件可为多个),如果以上都不是则返回F。注意,最后还有还有一个end结束符。

png)

运行结果

8、聚合函数

count:返回行数

sum:组内某列求和

min:组内某列最小值

max:组内某列最大值

avg:组内某列平均值

以工资sal为例:

select count(*),sum(sal),max(sal),min(sal),avg(sal) from emp;

9、表生成函数

explode:把map集合中每个键值对或数组中的每个元素都单独生成一行的形式

二、Hive 全部函数集合


函数名

含义及实例

ABS

abs(x) - 返回x的绝对值

示例:

> SELECT abs(0)FROM src LIMIT 1;

0

> SELECT abs(-5)FROM src LIMIT 1;


ACOS

acos(x) - 如果-1 <= x <= 1则返回x的反余弦值,否则返回NULL

例如:

> SELECT acos(1)FROM src LIMIT 1;

0

> SELECT acos(2)FROM src LIMIT 1;

ADD_MONTHS

add_months(start_date,num_months) - 返回start_date之后的num_months日期。

start_date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。num_months是一个数字。start_date的时间部分被忽略。

示例:

> SELECT add_months('2009-08-31',1)FROM src LIMIT 1;

'2009-09-30'

AES_DECRYPT

aes_decrypt(输入二进制,密钥字符串/二进制) - 使用AES解密输入。

AES(高级加密标准)算法。可以使用128,192或256位的密钥长度。如果安装了Java Cryptography Extension(JCE)Unlimited Strength Jurisdiction Policy Files,则可以使用192和256位密钥。如果任一参数为NULL或密钥长度不是允许值之一,则返回值为NULL。

示例:> SELECT aes_decrypt(unbase64('y6Ss + zCYObpCbgfWfyNWTw =='),'1234567890123456');

'ABC'

AES_ENCRYPT

aes_encrypt(输入字符串/二进制,密钥字符串/二进制) - 使用AES加密输入。

AES(高级加密标准)算法。可以使用128,192或256位的密钥长度。如果安装了Java Cryptography Extension(JCE)Unlimited Strength Jurisdiction Policy Files,则可以使用192和256位密钥。如果任一参数为NULL或密钥长度不是允许值之一,则返回值为NULL。

示例:> SELECT base64(aes_encrypt('ABC','1234567890123456'));

'y6Ss + zCYObpCbgfWfyNWTw =='

and

a1和a2和......以及 - 逻辑和

array

array(n0,n1 ...) - 使用给定元素创建数组

array_contains

array_contains(array,value) - 如果数组包含值,则返回TRUE。

示例:

> SELECT array_contains(array(1,2,3),2)FROM src LIMIT 1;

真正

ASCII

ascii(str) - 返回str的第一个字符的数值

如果str为空则返回0;如果str为NULL,则返回NULL

示例:

> SELECT ascii('222')FROM src LIMIT 1; 50

> SELECT ascii(2)FROM src LIMIT 1;

50

asin

asin(x) - 如果-1 <= x <= 1则返回x的反正弦,否则返回NULL

例如:

> SELECT asin(0)FROM src LIMIT 1;

0

> SELECT asin(2)FROM src LIMIT 1;

空值

ASSERT_TRUE

assert_true(condition) - 如果'condition'不为真,则抛出异常。

示例:

> SELECT assert_true(x> = 0)FROM src LIMIT 1;

空值

atan

atan(x) - 返回x的atan(arctan)(x是弧度)

示例:

> SELECT atan(0)FROM src LIMIT 1;

0

avg

avg(x) - 返回一组数字的平均值

BASE64

base64(bin) - 将参数从二进制转换为base 64字符串

between

在[NOT] BETWEEN b和c之间 - 评估a是否在b和c之间

bin

bin(n) - 返回二进制

n中的n是BIGINT。如果n为NULL,则返回NULL。

示例:

> SELECT bin(13)FROM src LIMIT

1'1101'

bloom_filter

函数'bloom_filter'没有文档

bround

bround(x [,d]) - 使用HALF_EVEN舍入模式将x舍入到d小数位。

银行家的四舍五入。该值四舍五入到最接近的偶数。也称为高斯舍入。

示例:

> SELECT bround(12.25,1);

12.2

cardinality_violation

cardinality_violation(n0,n1 ...) - 引发基数违规

case

CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END - When a = b, returns c; when a = d, return e; else return f

Example:

SELECT

CASE deptno

WHEN 1 THEN Engineering

WHEN 2 THEN Finance

ELSE admin

END,

CASE zone

WHEN 7 THEN Americas

ELSE Asia-Pac

END

FROM emp_details

CBRT

cbrt(double) - 返回double值的立方根。

示例:

> SELECT cbrt(27.0);

3.0

ceil

ceil(x) - 求小于x的最小整数

同义词:ceiling

示例:

> SELECT ceil(-0.1)FROM src LIMIT 1;

0

> SELECT ceil(5)FROM src LIMIT 1;


ceiling

ceiling(x) - 找到不小于x的最小整数

同义词:ceil

例:

> SELECT ceiling(-0.1)FROM src LIMIT 1;

0

> SELECT ceiling(5)FROM src LIMIT 1;


CHAR_LENGTH

char_length(str | binary) - 返回str或二进制数据中的字符数

别名:character_length

示例:

> SELECT char_length('HUX81')FROM src LIMIT 1;


CHARACTER_LENGTH

character_length(str | binary) - 返回str或二进制数据中的字符数

别名:char_length

示例:

> SELECT character_length('HUX81')FROM src LIMIT 1;


CHR

chr(str) - 将n中的n:[0,256]转换为ascii等价物作为varchar。如果n小于0则返回空字符串。如果n> 256,则返回chr(n%256)。

示例:

> SELECT chr('48')FROM src LIMIT 1;

'0'

> SELECT chr('65')FROM src LIMIT 1;

'一个'

coalesce

coalesce(a1,a2,...) - 返回第一个非空参数

示例:

> SELECT coalesce(NULL,1,NULL)FROM src LIMIT 1;

1

collect_list

collect_list(x) - 返回具有重复项的对象列表

collect_set

collect_set(x) - 返回一组消除了重复元素的对象

compute_stats

compute_stats(x) - 返回一组基本类型值的统计摘要。

CONCAT

concat(str1,str2,... strN) - 返回str1,str2,... strN或concat(bin1,bin2,... binN)的串联 - 返回二进制数据bin1,bin2,...中的字节串联。 .. binN

如果任何参数为NULL,则返回NULL。

示例:

> SELECT concat('abc','def')FROM src LIMIT 1;

'ABCDEF'

CONCAT_WS

concat_ws(separator,[string | array(string)] +) - 返回由分隔符分隔的字符串的串联。

示例:

> SELECT concat_ws('。','www',array('facebook','com'))FROM src LIMIT 1;

'www.facebook.com'

context_ngrams

context_ngrams(expr,array <string1,string2,...>,k,pf)估计适合指定上下文的top-k最频繁的n-gram。第二个参数指定一个字符串,用于指定n-gram元素的位置,其中空值表示必须由n-gram元素填充的“空白”。

主表达式必须是字符串数组或字符串数组数组,例如句子()UDF的返回类型。第二个参数指定上下文 - 例如,数组(“i”,“love”,null) - 它将估计主表达式中“i love”短语后面的顶部“k”字。可选的第四个参数'pf'控制启发式使用的内存。值越大,精度越高,但要使用更多内存。用法示例:

SELECT context_ngrams(句子(lower(review)),array(“i”,“love”,null,null),10)FROM电影

会尝试确定“我爱”之后的10个最常见的双字短语自由形式自然语言电影评论数据库。

CONV

conv(num,from_base,to_base) - 将num从from_base转换为to_base

如果to_base为负数,则将num视为有符号整数,否则将其视为无符号整数。

示例:

> SELECT conv('100',2,10)FROM src LIMIT 1;

'4'

> SELECT conv(-10,16,-10)FROM src LIMIT 1;

'16'

corr

corr(y,x) - 返回

一组数字对之间的Pearson相关系数

该函数将任意一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果N * SUM(x * x)= SUM(x)* SUM(x):返回NULL。

如果N * SUM(y * y)= SUM(y)* SUM(y):返回NULL。

否则,它计算以下内容:

COVAR_POP(x,y)/(STDDEV_POP(x)* STDDEV_POP(y))

其中x和y都不为空,

COVAR_POP是总体协方差,

STDDEV_POP是总体标准差。

COS

cos(x) - 返回x的余弦值(x是弧度)

示例:

> SELECT cos(0)FROM src LIMIT 1;

1

count

count(*) - 返回检索到的行的总数,包括包含NULL值的行。

count(expr) - 返回提供的表达式为非NULL的行数。

count(DISTINCT expr [,expr ...]) - 返回提供的表达式唯一且非NULL的行数。

Covr_pop

covar_pop(x,y) - 返回一组数字对的总体协方差

该函数将任意一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。如果该函数应用于空集,

则返回NULL 。否则,它计算以下内容:

(SUM(x * y)-SUM(x)* SUM(y)/ COUNT(x,y))/ COUNT(x,y)

其中x和y都不为空。

Covr_samp

covar_samp(x,y) - 返回一组数字对的样本协方差

该函数将任意一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果应用于具有单个元素的集合:将返回NULL。

否则,它计算以下内容:

(SUM(x * y)-SUM(x)* SUM(y)/ COUNT(x,y))/(COUNT(x,y)-1)

其中x和y都不为null 。

1

CRC32

crc32(str或bin) - 计算字符串或二进制参数的循环冗余校验值并返回bigint值。

示例:

> SELECT crc32('ABC');

2743272264

> SELECT crc32(binary('ABC'));

2743272264

create_union

create_union(tag,obj1,obj2,obj3,...) - 使用给定标记的对象创建一个联合

示例:

> SELECT create_union(1,1,“one”)FROM src LIMIT 1;


CUME_DIST

函数'cume_dist'没有文档

current_database

current_database() - 当前使用数据库名称返回

current_database

current_date() - 返回查询评估开始时的当前日期。同一查询中current_date的所有调用都返回相同的值。

CURRENT_TIMESTAMP

current_timestamp() - 返回查询评估开始时的当前时间戳。同一查询中的current_timestamp的所有调用都返回相同的值

current_user

current_user() - 返回当前用户名

DATE_ADD

date_add(start_date,num_days) - 返回start_date之后的num_days日期。

start_date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。num_days是一个数字。start_date的时间部分被忽略。

示例:

> SELECT date_add('2009-07-30',1)FROM src LIMIT 1;

'2009-07-31'

date_format

date_format(date / timestamp / string,fmt) - 以日期格式fmt指定的格式将日期/时间戳/字符串转换为字符串值。

支持的格式是SimpleDateFormat格式 - https://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html。第二个参数fmt应该是常量。

示例:> SELECT date_format('2015-04-08','y');

'2015'

DATE_SUB

date_sub(start_date,num_days) - 返回start_date之前的num_days日期。

start_date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。num_days是一个数字。start_date的时间部分被忽略。

示例:

> SELECT date_sub('2009-07-30',1)FROM src LIMIT 1;

'2009-07-29'

DATEDIFF

datediff(date1,date2) - 返回date1和date2之间的天数

date1和date2是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。时间部分被忽略。如果date1早于date2,则结果为负。

示例:

> SELECT datediff('2009-07-30','2009-07-31')FROM src LIMIT 1;

1

day

day(param) - 返回日期/时间戳的月份日期或间隔的日期组件

同义词:dayofmonth

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'的字符串或'yyyy-MM-dd'。

2.日期值

3.时间戳值

4.日间隔时间值示例:

> SELECT day('2009-07-30')FROM src LIMIT 1;

三十

DAYOFMONTH

dayofmonth(param) - 返回日期/时间戳的月份日期或间隔的日期组成部分

别名:day

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'的字符串或'yyyy-MM-dd'。

2.日期值

3.时间戳值

4.日间隔时间值示例:

> SELECT dayofmonth('2009-07-30')FROM src LIMIT 1;

三十

dayofweek

dayofweek(param) - 返回日期/时间戳的星期几(1 =星期日,2 =星期一,...,7 =星期六)

param可以是以下之一:

1。格式为'yyyy-MM的字符串-dd HH:mm:ss'或'yyyy-MM-dd'。

2.日期值

3.时间戳值示例:

> SELECT dayofweek ('2009-07-30')FROM src LIMIT 1;


decode

decode(bin,str) - 使用第二个参数字符集解码第一个参数字符集的

可能选项是'US-ASCII','ISO-8859-1',

'UTF-8','UTF-16BE', 'UTF-16LE'和'UTF-16'。如果任一参数

为null,则结果也将为null

degrees

degrees(x) - 将弧度转换为度数

示例:

> SELECT degrees(30)FROM src LIMIT 1;

-1

DENSE_RANK

函数'dense_rank'没有文档

DIV

a div b - 将a除以b舍入为长整数

示例:

> SELECT 3 div 2 FROM src LIMIT 1;

1

e

e() - 返回E

示例:

> SELECT e()FROM src LIMIT 1;

2.718281828459045

elt

elt(n,str1,str2,...) - 返回第n个字符串

例如:

> SELECT elt(1,'face','book')FROM src LIMIT 1;

'面对'

encode

encode(str,str) - 使用第二个参数字符集对第一个参数进行编码字符集的

可能选项是“US-ASCII”,“ISO-8859-1”,

“UTF-8”,“UTF-16BE”, 'UTF-16LE'和'UTF-16'。如果任一参数

为null,则结果也将为null

ewah_bitmap

ewah_bitmap(expr) - 返回列的EWAH压缩位图表示。

ewah_bitmap_and

ewah_bitmap_and(b1,b2) - 返回EWAH压缩的位图,该位图是两个位图的按位AND。

ewah_bitmap_empty

ewah_bitmap_empty(bitmap) - 测试EWAH压缩位图是否全为零的谓词

ewah_bitmap_or

ewah_bitmap_or(b1,b2) - 返回EWAH压缩位图,该位图是两个位图的按位OR。

EXP

exp(x) - 返回e到x的幂的

例子:

> SELECT exp(0)FROM src LIMIT 1;

1

explode

explode(a) - 将数组a的元素分成多行,或将map的元素分成多个行和列

extract_union

extract_union(union [,tag]) - 递归地将联合分解为结构或简单地提取给定的标记。

> SELECT extract_union({0:“foo”})。tag_0 FROM src;

foo

> SELECT extract_union({0:“foo”})。tag_1 FROM src;

null

> SELECT extract_union({0:“foo”},0)FROM src;

foo

> SELECT extract_union({0:“foo”},1)FROM src;

空值

factorial

factorial(int) - 返回n阶乘。有效n为[0..20]。

如果n超出[0..20]范围,则返回null。

示例:

> SELECT factorial(5);

120

field

field(str,str1,str2,...) - 返回str1,str2,...列表中str的索引或0如果未找到

则支持所有基元类型,使用str.equals(x)比较参数。如果str为NULL,则返回值为0。

FIND_IN_SET

find_in_set(str,str_array) - 返回str_array中str的第一个匹配项,其中str_array是逗号分隔的字符串。如果任一参数为null,则返回null。如果第一个参数有逗号,则返回0。

示例:

> SELECT find_in_set('ab','abc,b,ab,c,def')FROM src LIMIT 1;

3

> SELECT * FROM src1 WHERE NOT find_in_set(key,'311,128,345,956')= 0;

311 val_311

128

FIRST_VALUE

函数'first_value'没有文档

floor

floor(x) - 查找不大于x的最大整数

示例:

> SELECT floor(-0.1)FROM src LIMIT 1;

-1

> SELECT floor(5)FROM src LIMIT 1;


floor_day

floor_day(param) - 返回一天的时间戳粒度

param需要是一个时间戳值

示例:

> SELECT floor_day(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-dd 00:00:00

floor_hour

floor_hour(param) - 返回一小时的时间戳粒度

param需要是一个时间戳值

示例:

> SELECT floor_hour(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-dd HH:00:00

floor_minute

floor_minute(param) - 返回一分钟时间戳,粒度

param需要是一个时间戳值

示例:

> SELECT floor_minute(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-dd HH:mm:00

floor_month

floor_month(param) - 返回一个月的时间戳粒度

param需要是一个时间戳值

示例:

> SELECT floor_month(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-01 00:00:00

floor_quarter

floor_quarter(param) - 返回四分之一粒度

param的时间戳需要是一个时间戳值

示例:

> SELECT floor_quarter(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-xx-01 00:00:00

5

floor_second

floor_second(param) - 返回第二个粒度

参数的时间戳需要是时间戳值

示例:

> SELECT floor_second(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-dd HH:mm:ss

floor_week

floor_week(param) - 返回一周的时间戳粒度

param需要是一个时间戳值

示例:

> SELECT floor_week(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-MM-xx 00:00:00

floor_year

floor_year(param) - 返回一年中的时间戳粒度

param需要是一个时间戳值

示例:

> SELECT floor_year(CAST('yyyy-MM-dd HH:mm:ss'AS TIMESTAMP))FROM src;

yyyy-01-01 00:00:00

format_number

format_number(X,D或F) - 将数字X格式化为'#,###,###。##'等格式,舍入到D小数位,或者使用指定格式F格式化,并返回结果作为字符串。如果D为0,则结果没有小数点或小数部分。这应该像MySQL的FORMAT

示例:

> SELECT format_number(12332.123456,4)FROM src LIMIT 1;

'12,332.1235'

> SELECT format_number(12332.123456,'##################。###')FROM src LIMIT 1;

'12332.123'

FROM_UNIXTIME

from_unixtime(unix_time,format) - 以指定的格式返回unix_time

示例:

> SELECT from_unixtime(0,'yyyy-MM-dd HH:mm:ss')FROM src LIMIT 1;

'1970-01-01 00:00:00'

from_utc_timestamp

from_utc_timestamp(timestamp,string timezone) - 假设给定的时间戳是UTC并转换为给定的时区(从Hive 0.8.0开始)

get_json_object

get_json_object(json_txt,path) - 从路径中

提取json对象从基于指定的json路径的json字符串中提取json对象,并返回提取的json对象的json字符串。如果输入json字符串无效,它将返回null。

支持的JSONPath限制版本:

$:Root对象

。:子运算符

[]:数组

*的下标运算符:[]

不支持的通配符值得注意:

'':作为键的零长度字符串

..:递归下降

&amp;#064; :当前对象/元素

():脚本表达式

?():过滤器(脚本)表达式。

[,]:联盟运营商

[start:end:step]:数组切片运算符

get_splits

get_splits(string,int) - 返回引用的表字符串的长度为int serialized的数组。

maximum

maximum(v1,v2,...) - 返回值列表中的最大值

示例:

> SELECT maximum(2,3,1)FROM src LIMIT 1;

3

grouping

grouping(a,b) - 指示是否聚合指定的列表达式。返回1表示聚合,0表示未聚合。

a是分组ID,b是我们要提取的索引

hash

hash(a1,a2,...) - 返回参数的哈希值

hex

hex(n,bin或str) - 将参数转换为十六进制

如果参数是字符串,则为字符串中的每个字符返回两个十六进制数字。

如果参数是数字或二进制,则返回十六进制表示。

示例:

> SELECT hex(17)FROM src LIMIT 1;

'H1'

> SELECT hex('Facebook')FROM src LIMIT 1;

'46616365626F6F6B'

histogram_numeric

histogram_numeric(expr,nb) - 使用nb bin计算数字'expr'的直方图。

示例:

> SELECT histogram_numeric(val,3)FROM src;

[{ “×”:100, “Y”:14.0},{ “×”:200, “Y”:22.0},{ “×”:290.5, “Y”:11.0}]

返回值是表示直方图区间中心的(x,y)对数组。随着'nb'的值增加,直方图近似得到更细粒度,但可能会产生异常值周围的伪影。在实践中,20-40个直方图箱似乎运行良好,倾斜或较小的数据集需要更多的箱。请注意,此函数会创建一个具有非均匀bin宽度的直方图。它不能保证直方图的均方误差,但实际上与R / S-Plus统计计算包产生的直方图相当。

hour

hour(param) - 返回字符串/ timestamp / interval的小时组件

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'或'HH:mm:ss'的字符串。

2.时间戳值

3.日间隔值示例:

> SELECT hour('2009-07-30 12:58:59')FROM src LIMIT 1;

12

> SELECT hour('12:58:59') from src LIMIT 1;

12

if

IF(expr1,expr2,expr3) - 如果expr1为TRUE(expr1 <> 0且expr1 <> NULL)则IF()返回expr2; 否则返回expr3。IF()返回数值或字符串值,具体取决于使用它的上下文。

test in

test in(val1,val2 ...) - 如果test等于任何valN,则返回true

in_bloom_filter

in_file中

in_file(str,filename) - 如果str出现在文件中,则返回true

index

index(a,n) - 返回a的第n个元素

INITCAP

initcap(str) - 返回str,每个单词的第一个字母用大写字母表示,所有其他字母用小写字母表示。单词由空格分隔。

示例:

> SELECT initcap('tHe soap')FROM src LIMIT 1;

'肥皂'

inline

inline(ARRAY(STRUCT()[,STRUCT()] - 将数据和结构分解为表

INSTR

instr(str,substr) - 返回str中第一次出现substr的索引

例如:

> SELECT instr('Facebook','boo')FROM src LIMIT 1;


internal_interval

internal_interval(intervalType,intervalArg)

此方法不是设计用于直接调用它 - 它为'INTERVAL(intervalArg)intervalType'构造提供内部支持

isnotnull

isnotnull a - 如果a不为NULL则返回true,否则返回false

isnull a

isnull a - 如果a为NULL则返回true,否则返回false

java_method

java_method(class,method [,arg1 [,arg2 ..]])使用反射调用方法

同义词:reflect

使用此UDF通过匹配参数签名来调用Java方法

json_tuple

json_tuple(jsonStr,p1,p2,...,pn) - 与get_json_object类似,但它需要多个名称并返回一个元组。所有输入参数和输出列类型都是字符串。

函数类:org.apache.hadoop.hive.ql.udf.generic.GenericUDTFJSONTuple

LAG

LAG(scalar_expression [,offset] [,default])OVER([query_partition_clause] order_by_clause); LAG函数用于访问前一行的数据。

示例:

选择p1.p_mfgr,p1.p_name,p1.p_size,

p1.p_size - lag(p1.p_size,1,p1.p_size)over(由p1.p_mfgr按p1.p_name排序)作为deltaSz

从part p1 join p1.p_partkey = p2.p_partkey上的p2部分

last_day

last_day(date) - 返回日期所属月份的最后一天。

date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。日期的时间部分被忽略。

示例:

> SELECT last_day('2009-01-12')FROM src LIMIT 1;

'2009-01-31'

LAST_VALUE

LCASE

lcase(str) - 返回str,所有字符都改为小写

同义词:lower

示例:

> SELECT lcase('Facebook')FROM src LIMIT 1;

“Facebook的

lead

LEAD(scalar_expression [,offset] [,default])OVER([query_partition_clause] order_by_clause); LEAD函数用于从下一行返回数据。

示例:

选择p_name,p_retailprice,lead(p_retailprice)over()为l1,

lag(p_retailprice)over()为l2


其中p_retailprice = 1173.15

least

least(v1,v2,...) - 返回值列表中的最小值

示例:

> SELECT least(2,3,1)FROM src LIMIT 1;

1

length

length(str | binary) - 返回str的长度或二进制数据中的字节数

示例:

> SELECT length('Facebook')FROM src LIMIT 1;

8

levenshtein

levenshtein(str1,str2) - 该函数计算两个弦之间的Levenshtein距离。

Levenshtein距离是用于测量两个序列之间差异的字符串度量。非正式地,两个单词之间的Levenshtein距离是将一个单词改为另一个单词所需的单字符编辑(即插入,删除或替换)的最小数量。它以弗拉基米尔·莱文

斯坦(Vladimir Levenshtein)的名字命名,他在1965年考虑过这个距离。例如:>选择levenshtein('小猫','坐着');

3

like

like(str,pattern) - 检查str是否匹配模式

示例:

> SELECT a.* FROM srcpart a WHERE a.hr like'%2'LIMIT 1;

27 val_27 2008-04-08 12

LN

ln(x) - 返回x的自然对数

示例:

> SELECT ln(1)FROM src LIMIT 1;

0

locate

locate(substr,str [,pos]) - 返回位置pos后str中第一次出现substr的位置

示例:

> SELECT locate('bar','foobarbar',5)FROM src LIMIT 1;

7

log

log([b],x) - 返回x与base b的对数

示例:

> SELECT log(13,13)FROM src LIMIT 1;

1

LOG10

log10(x) - 返回x的基数为10的对数

示例:

> SELECT log10(10)FROM src LIMIT 1;

1

LOG2

log2(x) - 返回x的基数为2的对数

示例:

> SELECT log2(2)FROM src LIMIT 1;

1

LOGGED_IN_USER

logged_in_user() - 返回登录的用户名

SessionState GetUserName - 会话初始化时提供的用户名

lower

lower(str) - 返回str,所有字符都改为小写

同义词:lcase

示例:

> SELECT lower('Facebook')FROM src LIMIT 1;

“Facebook的

LPAD

lpad(str,len,pad) - 返回str,左边用pad填充长度为len

如果str长于len,则返回值缩短为len个字符。

如果是空填充字符串,则返回值为null。

示例:

> SELECT lpad('hi',5,'??')FROM src LIMIT 1;

'??? hi'

> SELECT lpad('hi',1,'??')FROM src LIMIT 1;

'h'

> SELECT lpad('hi',5,'')FROM src LIMIT 1;

空值

LTRIM

ltrim(str) - 从str中删除前导空格字符

例如:

> SELECT ltrim('facebook')FROM src LIMIT 1;

“Facebook的

lower

lower(key0,value0,key1,value1 ...) - 创建具有给定键/值对的映射

map_keys

map_keys(map) - 返回包含输入映射键的无序数组

map_values

map_values(map) - 返回包含输入映射值的无序数组。

mask

掩盖给定值

示例:

mask(ccn)

mask(ccn,'X','x','0')

mask(ccn,'x','x','x')

参数:

mask(value,upperChar, lowerChar,digitChar,otherChar,numberChar,dayValue,monthValue,yearValue)

value - 要屏蔽的值。支持的类型:TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR,DATE

upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值:'

X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值:'x'

digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值:'

n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值:-1

numberChar - 用数字替换数字的字符。有效值:0-9。默认值:'

1'dayValue - 用日期替换日期字段的值。指定-1以保留原始值。有效值:1-31。默认值:1

monthValue - 用日期替换日期中的月份字段的值。指定-1以保留原始值。有效值:0-11。默认值:0

yearValue - 用日期替换年份字段的值。指定-1以保留原始值。默认值:0

mask_first_n

掩盖值的前n个字符

示例:

mask_first_n(ccn,8)

mask_first_n(ccn,8,'x','x','x')

参数:

mask(value,charCount,upperChar,lowerChar,digitChar,otherChar, numberChar)

value - 要屏蔽的值。支持的类型:TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR

charCount - 字符数。默认值:4

upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值:'

X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值:'x'

digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值:'

n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值:-1

numberChar - 用数字替换数字的字符。有效值:0-9。默认值:'1'

mask_hash

返回给定值的哈希值

示例:

mask_hash(value)

参数:

value - 要掩码的值。支持的类型:STRING,VARCHAR,CHAR

mask_last_n

屏蔽值的最后n个字符

示例:

mask_last_n(ccn,8)

mask_last_n(ccn,8,'x','x','x')

参数:

mask_last_n(value,charCount,upperChar,lowerChar,digitChar,otherChar, numberChar)

value - 要屏蔽的值。支持的类型:TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR

charCount - 字符数。默认值:4

upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值:'

X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值:'x'

digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值:'

n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值:-1

numberChar - 用数字替换数字的字符。有效值:0-9。默认值:'1'

mask_show_first_n

掩码除了值的前n个字符以外的所有字符

示例:

mask_show_first_n(ccn,8)

mask_show_first_n(ccn,8,'x','x','x')

参数:

mask_show_first_n(value,charCount,upperChar,lowerChar,digitChar,otherChar ,numberChar)

value - 要屏蔽的值。支持的类型:TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR

charCount - 字符数。默认值:4

upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值:'

X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值:'x'

digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值:'

n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值:-1

numberChar - 用数字替换数字的字符。有效值:0-9。默认值:'1'

mask_show_last_n

掩码除了值的最后n个字符之外的所有

例子:

mask_show_last_n(ccn,8)

mask_show_last_n(ccn,8,'x','x','x')

参数:

mask_show_last_n(value,charCount,upperChar,lowerChar,digitChar,otherChar ,numberChar)

value - 要屏蔽的值。支持的类型:TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR

charCount - 字符数。默认值:4

upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值:'

X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值:'x'

digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值:'

n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值:-1

numberChar - 用数字替换数字的字符。有效值:0-9。默认值:'1'

matchpath

max

max(expr) - 返回expr的最大值

MD5

md5(str或bin) - 为字符串或二进制文件计算MD5 128位校验和。

该值以32个十六进制数字的字符串形式返回,如果参数为NULL,则返回NULL。

示例:

> SELECT md5('ABC');

'902fbdd2b1df0c4f70b4a5d23525e932'

> SELECT md5(二进制('ABC'));

'902fbdd2b1df0c4f70b4a5d23525e932'

min

min(expr) - 返回expr的最小值

minute

minute(param) - 返回字符串/ timestamp / interval的分钟组件

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'或'HH:mm:ss'的字符串。

2.时间戳值

3.日间隔值示例:

> SELECT分钟('2009-07-30 12:58:59')FROM src LIMIT 1;

58

> SELECT分钟('12:58:59')from src LIMIT 1;

58

mod

a mod b - 当除以b时返回余数

同义词:%

month

month(param) - 返回日期/时间戳/间隔的月份组件

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。

2.日期值

3.时间戳值

4.年 - 月间隔值示例:

> SELECT月('2009-07-30')FROM src LIMIT 1;

7

MONTHS_BETWEEN

months_between(date1,date2,roundOff) - 返回date1和date2之间的月数。

如果date1晚于date2,则结果为正。如果date1早于date2,则结果为负数。如果date1和date2是该月的同一天或两个月的最后几天,则结果始终为整数。否则,UDF将根据31天的月份计算结果的小数部分,并考虑时间组件date1和date2的差异。

date1和date2类型可以是日期,时间戳或字符串,格式为'yyyy-MM-dd'或'yyyy-MM-dd HH:mm:ss'。结果默认舍入为8位小数。否则设置roundOff = false。

示例:

> SELECT months_between('1997-02-28 10:30:00','

3.94959677

named_struct

named_struct(name1,val1,name2,val2,...) - 使用给定的字段名称和值创建结构

negative

negative a - 返回-a

next_day

next_day(start_date,day_of_week) - 返回晚于start_date并按指示命名的第一个日期。

start_date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。day_of_week是星期几(例如,Mo,星期五,星期五)。例如:

> SELECT next_day('2015-01-14','TU')FROM src LIMIT 1;

“2015年1月20日”

ngrams

ngrams(expr,n,k,pf) - 估计由字符串序列组成的行中的前k个n-gram,表示为字符串数组或字符串数组数组。'pf'是一个可选的精度因子,用于控制内存使用量。

参数'n'指定估计什么类型的n-gram。Unigrams是n = 1,并且bigrams是n = 2.通常,n不会大于约5.'k'参数指定UDAF将返回多少个最高频率的n-gram。可选的精度因子'pf'指定用于估计的内存量; 更多的内存将提供更准确的频率计数,但可能会使JVM崩溃。默认值为20,内部保持20 * k n-gram,但仅返回k个最高频率的值。输出是一组具有前n个n-gram的结构。爆炸()这个UDAF的输出可能很方便。

noop

noopstreaming

noopwithmap

noopwithmapstreaming

not

not a - 逻辑而不是同义词:!

ntile

NULLIF

SELECT nullif(1,1),nullif(1,2)

NVL

nvl(value,default_value) - 如果value为null则返回默认值,否则返回value

示例:

> SELECT nvl(null,'bla')FROM src LIMIT 1;

BLA

OCTET_LENGTH

octet_length(str | binary) - 返回str或二进制数据中的字节数

示例:

> SELECT octet_length('HUX8 ')FROM src LIMIT 1;

15

or

a1或a2或......或 - 逻辑或

parse_url

parse_url(url,partToExtract [,key]) - 从URL中提取

部件:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO

键指定要提取的查询

示例:

> SELECT parse_url('http:/ /facebook.com/path/p1.php?query=1','HOST')FROM src LIMIT 1;

'facebook.com'

> SELECT parse_url('http://facebook.com/path/p1.php?query=1','QUERY')from src LIMIT 1;

'query = 1'

> SELECT parse_url('http://facebook.com/path/p1.php?query=1','QUERY','query')FROM src LIMIT 1;

'1'

parse_url_tuple

parse_url_tuple(url,partname1,partname2,...,partnameN) - 从URL中提取N(N> = 1)个部分。

它需要一个URL和一个或多个部件名,并返回一个元组。所有输入参数和输出列类型都是字符串。

部件名称:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO,QUERY:<KEY_NAME>

注意:部件名区分大小写,不应包含不必要的空格。

示例:

> SELECT b。* FROM src LATERAL VIEW parse_url_tuple(fullurl,'HOST','PATH','QUERY','QUERY:id')b as host,path,query,query_id LIMIT 1;

> SELECT parse_url_tuple(a.fullurl,'HOST','PATH','QUERY','REF','PROTOCOL','FILE','AUTHORITY','

PERCENT_RANK

percentile

percentile(expr,pc) - 返回pc上expr的百分位数(范围:[0,1])。pc可以是double或double数组

percentile_approx

percentile_approx(expr,pc,[nb]) - 对于非常大的数据,使用可选参数[nb]作为要使用的直方图区间数,从直方图计算近似百分位数值。较高的nb值导致更准确的近似,代价是更高的内存使用量。

'expr'可以是任何数字列,包括双精度和浮点数,'pc'可以是具有请求百分位数的单个double / float,也可以是具有多个百分位数的double / float数组。如果未指定'nb',则默认近似值使用10,000个直方图区间,这意味着如果'expr'中有10,000个或更少的唯一值,则可以获得精确的结果。百分位数()函数总是计算精确百分位数,如果列中有太多唯一值,则可能会耗尽内存,这就需要此功能。

示例(使用更精细的直方图近似请求三个百分位数):

> SELECT percentile_approx(val,array(0.5,0.95,0.98),100000)FROM somedata;

[0.05,1.64,2.26]

pi

pi() - 返回pi

示例:

> SELECT pi()FROM src LIMIT 1;

3.14159 ...

PMOD

a pmod b - 计算正模数

posexplode

posexplode(a) - 表现得像数组爆炸,但包括原始数组中项目的位置

positive

positive a - 返回a

POW

pow(x1,x2) - 将x1提升到x2的幂。

同义词:power

例如:

> SELECT pow(2,3)FROM src LIMIT 1;

8

power

power(x1,x2) - 将x1提升到x2的幂。

同义词:pow

示例:

> SELECT power(2,3)FROM src LIMIT 1;

8

printf

printf(String format,Obj ... args) - 可以根据printf样式格式字符串格式化字符串的 函数

示例:

> SELECT printf(“Hello World%d%s”,100,“days”)FROM src LIMIT 1;

“Hello World 100天”

quarter

quarter(date / timestamp / string) - 返回日期的季度,范围为1到4.

示例:> SELECT quarter('2015-04-08');

2

radians

radians(x) - 将度数转换为弧度

例如:

> SELECT radians(90)FROM src LIMIT 1;

1.5707963267949mo

rand

rand([seed]) - 返回0到1之间的伪随机数

rank

reflect

reflect(class,method [,arg1 [,arg2 ..]])使用反射调用方法

同义词:java_method

使用此UDF通过匹配参数签名来调用Java方法

reflect2

reflect2(arg0,method [,arg1 [,arg2 ..]])使用反射调用arg0的方法

使用此UDF通过匹配参数签名来调用Java方法

regexp

str regexp regexp - 如果str匹配regexp则返回true,否则返回false

同义词:rlike

示例:

> SELECT'fb'reexx ''*'FROM src LIMIT 1;

真正

REGEXP_EXTRACT

regexp_extract(str,regexp [,idx]) - 提取与regexp匹配的组

示例:

> SELECT regexp_extract('100-200','(\ d +) - (\ d +)',1)FROM src LIMIT 1;

'100'

REGEXP_REPLACE

regexp_replace(str,regexp,rep) - 将与regexp匹配的str的所有子串替换为rep

示例:

> SELECT regexp_replace('100-200','(\ d +)','num')FROM src LIMIT 1;

'NUM-NUM'

REGR_AVGX

egr_avgx(y,x) - 计算自变量的平均值。

该函数将任意一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

否则,它计算以下内容:

AVG(X)

REGR_AVGY

regr_avgy(y,x) - 计算因变量的平均值。

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

否则,它会计算以下内容:

AVG(Y)

REGR_COUNT

regr_count(y,x) - 返回非空对的数量

该函数将任何一对数字类型作为参数,并返回long。

任何具有NULL的对都将被忽略。

REGR_INTERCEPT

regr_intercept(y,x) - 返回回归线的y轴截距。

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果N * SUM(x * x)= SUM(x)* SUM(x):返回NULL。

否则,它计算以下内容:

(SUM(y)* SUM(x * x)-SUM(X)* SUM(x * y))/(N * SUM(x * x)-SUM(x)* SUM( X) )

REGR_R2

regr_r2(y,x) - 返回回归线的确定系数(也称为R平方或拟合度)。

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果N * SUM(x * x)= SUM(x)* SUM(x):返回NULL。

如果N * SUM(y * y)= SUM(y)* SUM(y):返回1。

否则,它计算以下内容:

POWER(N * SUM(x * y)-SUM(x)* SUM(y),2)/((N * SUM(x * x)-SUM(x)* SUM(x ))*(N * SUM(y * y)-SUM(y)* SUM(y)))

REGR_SLOPE

regr_slope(y,x) - 返回线性回归线的斜率

该函数将任意一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果N * SUM(x * x)= SUM(x)* SUM(x):返回NULL(拟合将是垂直的)。

否则,它计算如下:

(N * SUM(x * y)-SUM(x)* SUM(y))/(N * SUM(x * x)-SUM(x)* SUM(x))

REGR_SXX

regr_sxx(y,x) - 辅助分析函数

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

否则,它计算以下内容:

SUM(x * x)-SUM(x)* SUM(x)/ N.

REGR_SXY

regr_sxy(y,x) - 返回一个值,该值可用于评估回归模型的统计有效性。

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

如果N * SUM(x * x)= SUM(x)* SUM(x):返回NULL。

否则,它计算以下内容:

SUM(x * y)-SUM(x)* SUM(y)/ N.

REGR_SYY

regr_syy(y,x) - 辅助分析函数

该函数将任何一对数字类型作为参数,并返回一个double。

任何具有NULL的对都将被忽略。

如果应用于空集:返回NULL。

否则,它计算以下内容:

SUM(y * y)-SUM(y)* SUM(y)/ N.

repeat

repeat(str,n) - 重复str n次

示例:

> SELECT repeat('123',2)FROM src LIMIT 1;

'123123'

replace

replace(str,search,rep) - 将'search'与'rep'匹配的所有子串替换为'rep'

示例:

> SELECT replace('Hack and Hue','H','BL')FROM src LIMIT 1;

'BLACK和BLUE'

replicate_rows

replicate_rows(n,cols ...) - 将1行变为n行

reverse

reverse(str) - reverse str

示例:

> SELECT reverse('Facebook')FROM src LIMIT 1;

'koobecaF'

RLIKE

str rlike regexp - 如果str匹配regexp则返回true,否则返回false

别名:regexp

示例:

> SELECT'fb'rlike'。*'FROM src LIMIT 1;

真正

round

round(x [,d]) - 舍入x到d小数位

示例:

> SELECT round(12.3456,1)FROM src LIMIT 1;

12.3'

ROW_NUMBER

RPAD

rpad(str,len,pad) - 返回str,右边填充pad,长度为len

如果str长于len,则返回值缩短为len个字符。

如果是空填充字符串,则返回值为null。

示例:

> SELECT rpad('hi',5,'??')FROM src LIMIT 1;

“喜???”

> SELECT rpad('hi',1,'??')FROM src LIMIT 1;

'h'

> SELECT rpad('hi',5,'')FROM src LIMIT 1;

空值

RTRIM

rtrim(str) - 从str中删除尾随空格字符

例如:

> SELECT rtrim('facebook')FROM src LIMIT 1;

“Facebook的

second

second(date) - 返回字符串/ timestamp / interval的第二个组成部分

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'或'HH:mm:ss'的字符串。

2.时间戳值

3.日间隔值示例:

> SELECT second('2009-07-30 12:58:59')FROM src LIMIT 1;

59

> SELECT second('12:58:59')FROM src LIMIT 1;

59

sentences

sentences(str,lang,country) - 将str拆分成句子数组,其中每个句子都是一个单词数组。'lang'和'country'参数是可选的,如果省略,则使用默认语言环境。

例如:

> SELECT句子('你好!我是UDF。')FROM src LIMIT 1;

[[“Hello”,“there”],[“I”,“am”,“a”,“UDF”]]

> SELECT句子(评论,语言)FROM movies;

不必要的标点符号(例如英语中的句点和逗号)会自动删除。如果指定,'lang'应该是两个字母的ISO-639语言代码(例如'en'),'country'应该是两个字母的ISO-3166代码(例如'us')。并非所有国家/地区和语言代码都受到完全支持,如果指定了不受支持的代码,则使用默认语言环境来处理该字符串。

sha

sha(str或bin) - 计算字符串或二进制的SHA-1摘要,并将值作为十六进制字符串返回。

别名:sha1

例如:

> SELECT sha('ABC');

'3c01bdbb26f358bab27f267924aa2c9a03fcfdb8'

> SELECT sha(binary('ABC'));

'3c01bdbb26f358bab27f267924aa2c9a03fcfdb8'

sha1

sha1(str或bin) - 计算字符串或二进制的SHA-1摘要,并将值作为十六进制字符串返回。

别名:sha

示例:

> SELECT sha1('ABC');

'3c01bdbb26f358bab27f267924aa2c9a03fcfdb8'

> SELECT sha1(二进制('ABC'));

'3c01bdbb26f358bab27f267924aa2c9a03fcfdb8'

SHA2

sha2(string / binary,len) - 计算SHA-2系列散列函数(SHA-224,SHA-256,SHA-384和SHA-512)。

第一个参数是要进行哈希处理的字符串或二进制文件。第二个参数表示结果的所需位长度,其值必须为224,256,384,512或0(相当于256)。从Java 8开始支持SHA-224。如果任一参数为NULL或散列长度不是允许值之一,则返回值为NULL。

示例:> SELECT sha2('ABC',256);

'b5d4045c3f466fa91fe2cc6abe79232a1a57cdf104f7a26e716e0a1e2789df78'

shiftleft

shiftleft(a,b) - 按位左移

为tinyint,smallint和int a返回int。返回bigint的bigint a。

示例:

> SELECT shiftleft(2,1);

4

shiftright

shiftright(a,b) - 按位右移

为tinyint,smallint和int a返回int。返回bigint的bigint a。

示例:

> SELECT shiftright(4,1);

2

shiftrightunsigned

shiftrightunsigned(a,b) - 按位无符号右移

为tinyint,smallint和int a返回int。返回bigint的bigint a。

示例:

> SELECT shiftrightunsigned(4,1);

2

sign

sign(x) - 返回x的符号

示例:

> SELECT sign(40)FROM src LIMIT 1;

1

sin

sin(x) - 返回x的正弦值(x以弧度表示)

例如:

> SELECT sin(0)FROM src LIMIT 1;

0

size

size(a) - 返回a的大小

sort_array

sort_array(array(obj1,obj2,...)) - 根据数组元素的自然顺序按升序对输入数组进行排序。

示例:

> SELECT sort_array(array('b','d','c','a'))FROM src LIMIT 1;

'A B C D'

sort_array_by

sort_array_by(array(obj1,obj2,...),'f1','f2',...,['ASC','DESC']) - 按用户指定的顺序(ASC,DESC)对输入元组数组进行排序by desired field [s] name如果用户未提及排序顺序,则dafault排序顺序为升序

示例:

> SELECT sort_array_by(array(struct('g',100),struct('b',200)),'col1 ','ASC') from src LIMIT 1;

阵列(结构( 'B',200),结构( 'G',100))

soundex

soundex(string) - 返回字符串的soundex代码。

soundex代码由名称的第一个字母后跟三个数字组成。

示例:

> SELECT soundex('Miller');

M460

space

space(n) - 返回n个空格

示例:

> SELECT space(2)FROM src LIMIT 1;

''

split

split(str,regex) - Splits str匹配正则表达式的匹配

示例:

> SELECT split('oneAtwoBthreeC','[ABC]')FROM src LIMIT 1;

[“一二三”]

sq_count_check

sq_count_check(x) - 对标量子查询表达式进行内部检查,以确保返回最多一行

仅供内部使用

sqrt

sqrt(x) - 返回x的平方根

示例:

> SELECT sqrt(4)FROM src LIMIT 1;

2

stack

stack(n,cols ...) - 将k列转换为n行,每行大小为k / n

STD

std(x) - 返回一组数字的标准偏差

别名:stddev,stddev_pop

STDDEV

stddev(x) - 返回一组数字的标准偏差

别名:std,stddev_pop

STDDEV_POP

stddev_pop(x) - 返回一组数字的标准偏差

别名:std,stddev

STDDEV_SAMP

stddev_samp(x) - 返回一组数字的样本标准差

str_to_map

str_to_map(text,delimiter1,delimiter2) - 通过解析文本

使用两个分隔符将文本拆分为键值对来创建映射。第一个分隔符分隔对,第二个分隔符分配键和值。如果只给出一个参数,则使用默认分隔符:','作为delimiter1,':'作为delimiter2。

struct

struct(col1,col2,col3,...) - 使用给定的字段值创建结构

SUBSTR

substr(str,pos [,len]) - 返回str的子字符串,该字符串以pos开头并且长度为len orsubstr(bin,pos [,len]) - 返回以pos开头且长度为的字节数组的片段len

同义词:substring

pos是一个基于1的索引。如果pos <0,则通过从str的结尾向后计数来确定起始位置。

示例:

> SELECT substr('Facebook',5)FROM src LIMIT 1;

'book'

> SELECT substr('Facebook', - 5)FROM src LIMIT 1;

'ebook'

> SELECT substr('Facebook',5,1)FROM src LIMIT 1;

'B'

substring

substring(str,pos [,len]) - 返回str的子字符串,该字符串以pos开头,长度为len orsubstring(bin,pos [,len]) - 返回以pos开头且长度为的字节数组的片段len

同义词:substr

pos是一个基于1的索引。如果pos <0,则通过从str的结尾向后计数来确定起始位置。

示例:

> SELECT substring('Facebook',5)FROM src LIMIT 1;

'book'

> SELECT substring('Facebook', - 5)FROM src LIMIT 1;

'ebook'

> SELECT substring('Facebook',5,1)FROM src LIMIT 1;

'B'

SUBSTRING_INDEX

substring_index(str,delim,count) - 在分隔符delim的计数出现之前,从字符串str返回子字符串。

如果count为正数,则返回最终分隔符左侧的所有内容(从左侧开始计算)。如果count为负数,则返回最终分隔符右侧的所有内容(从右侧开始计算)。在搜索delim时,Substring_index执行区分大小写的匹配。

示例:

> SELECT substring_index('www.apache.org','。',2);

'www.apache'

sum

sum(x) - 返回一组数字的总和

tan

tan(x) - 返回x的正切(x是弧度)

示例:

> SELECT tan(0)FROM src LIMIT 1;

1

to_date

to_date(expr) - 提取日期或日期时间表达式expr的日期部分

示例:

> SELECT to_date('2009-07-30 04:17:52')FROM src LIMIT 1;

'2009-07-30'

to_unix_timestamp

to_unix_timestamp(date [,pattern]) - 返回UNIX时间戳

将指定时间转换为自1970-01-01以来的秒数。

to_utc_timestamp

to_utc_timestamp(timestamp,string timezone) - 假设给定时间戳在给定时区内并转换为UTC(从Hive 0.8.0开始)

translate

translate(input,from,to) - 通过将from字符串中的字符替换为to字符串中的相应字符来转换输入字符串

translate(字符串输入,字符串from,string to)是在PostGreSQL中翻译的等效函数。它在输入字符串(第一个参数)上逐个字符地工作。检查输入中的字符是否存在于from字符串中(第二个参数)。如果匹配发生,则获得字符串到字符串(第三个参数),该字符出现在与字符串中的字符相同的索引处。此字符在输出字符串中发出,而不是从输入字符串中的原始字符发出。如果to字符串比from字符串短,则to字符串中的相同索引处可能不存在字符。在这种情况下,原始字符不会发出任何内容,而是从输出字符串中删除它。

例如,


translate('abcdef','adc','19')返回'1b9ef'将'a'替换为'1','d'替换为'9'并从输入字符串中删除'c'


('abc d', '','')返回'abcd'从输入字符串中删除所有空格


如果输入字符串中多次出现相同的字符,则第一个出现的字符是考虑匹配的字符。但是,不建议在from字符串中多次使用相同的字符,因为它不是必需的,这增加了混乱。


例如,


translate('abcdef','ada','192')返回'1bc9ef'将'a'替换为'1',将'd'替换为'9'

trim

trim(str) - 从str中删除前导和尾随空格字符

示例:

> SELECT trim('facebook')FROM src LIMIT 1;

“Facebook的"

TRUNC

trunc(date,fmt)/ trunc(N,D) - 返回如果输入是日期,则返回日期,其中当天的时间部分被截断为格式模型fmt指定的单位。如果省略fmt,则日期将截断为最近的一天。它目前仅支持'MONTH'/'MON'/'MM','QUARTER'/'Q'和'YEAR'/'YYYY'/'YY'作为格式。如果输入是数字组,则返回N截断为D十进制地方。如果省略D,则N被截断为0位.D可以是负截断(使零)小数点左边的D位。

date是格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。日期的时间部分被忽略。

示例:

> SELECT trunc('2009-02-12', 'MM');

OK

'2009-02-01'

> SELECT trunc('2017-03-15', 'Q');

OK

'2017-01-01'

> SELECT trunc('2015-10-27', 'YEAR');

OK

'2015-01-01' > SELECT trunc(1234567891.1234567891,4);

OK

1234567891.1234

> SELECT trunc(1234567891.1234567891,-4);

OK

1234560000 > SELECT trunc(1234567891.1234567891,0);

OK

1234567891

> SELECT trunc(1234567891.1234567891);

OK

1234567891

UCASE

ucase(str) - 返回str,所有字符都更改为大写

同义词:upper

示例:

> SELECT ucase('Facebook')FROM src LIMIT 1;

'FACEBOOK'

unbase64

unbase64(str) - 将参数从base 64字符串转换为binary

UNHEX

unhex(str) - 将十六进制参数转换为二进制

执行HEX(str)的反向操作。也就是说,它将

参数中的每对十六进制数字解释为数字,

并将其转换为数字的字节表示形式。该

结果字符返回一个二进制字符串。


示例:

> SELECT DECODE(UNHEX('4D7953514C'), 'UTF-8') from src limit 1;

'MySQL'


参数字符串中的字符必须是合法的十六进制

数字:'0'..'9','A'..'F','a'..'f'。如果UNHEX()

在参数中遇到任何非十六进制数字,则返回NULL。也,

UNIX_TIMESTAMP

unix_timestamp(date [,pattern]) - 将时间

转换为数字将指定时间转换为自1970-01-01以来的秒数。不推荐使用unix_timestamp(void)重载,使用current_timestamp。

upper

upper(str) - 返回str,所有字符都更改为大写

同义词:ucase

示例:

> SELECT upper('Facebook')FROM src LIMIT 1;

'FACEBOOK'

UUID

uuid() - 返回通用唯一标识符(UUID)字符串。

该值作为规范的UUID 36字符字符串返回。

示例:

> SELECT uuid();

'0baf1f52-53df-487f-8292-99a03716b688'

> SELECT uuid();

'36718a53-84f5-45d6-8796-4f79983ad49d'

VAR_POP

var_pop(x) - 返回一组数字的

方差同义词:方差

VAR_SAMP

var_samp(x) - 返回一组数字的样本方差

variance

variance(x) - 返回一组数字的方差

同义词:var_pop

version

version() - 返回Hive构建版本字符串 - 包括基本版本和修订版本。

WEEKOFYEAR

weekofyear(date) - 返回给定日期的一年中的一周。一周被认为是在星期一开始,第一周是第一周,> 3天。

示例:

> SELECT weekofofar('2008-02-20')FROM src LIMIT 1;

8

> SELECT weekofyear('1980-12-31 12:59:59')FROM src LIMIT 1;

1

when

CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END - When a = true, returns b; when c = true, return d; else return e

Example:

SELECT

CASE

WHEN deptno=1 THEN Engineering

WHEN deptno=2 THEN Finance

ELSE admin

END,

CASE

WHEN zone=7 THEN Americas

ELSE Asia-Pac

END

FROM emp_details

windowingtablefunction

XPath

xpath(xml,xpath) - 返回xml节点中与xpath表达式匹配的值的字符串数组

示例:

> SELECT xpath('<a> <b> b1 </ b> <b> b2 </ b> <b> b3 </ b> <c> c1 </ c> <c> c2 </ c> </a>','a / text()')FROM src LIMIT 1

[]

> SELECT xpath('<a> < b> b1 </ b> <b> b2 </ b> <b> b3 </ b> <c> c1 </ c> <c> c2 </ c> </a>','a / b / text()')FROM src LIMIT 1

[“b1”,“b2”,“b3”]

> SELECT xpath('<a> <b> b1 </ b> <b> b2 </ b> <b> b3 </ b> <c> c1 </ c> <c> c2 </ c> </a>','a / c / text()')FROM src LIMIT 1

[“c1”,“c2”]

xpath_boolean

xpath_boolean(xml,xpath) - 计算布尔xpath表达式

示例:

> SELECT xpath_boolean('<a> <b> 1 </ b> </a>','a / b')FROM src LIMIT 1;

true

> SELECT xpath_boolean('<a> <b> 1 </ b> </a>','a / b = 2')FROM src LIMIT 1;


xpath_double

xpath_double(xml,xpath) - 返回与xpath表达式匹配的double值

别名:xpath_number

示例:

> SELECT xpath_double('<a> <b> 1 </ b> <b> 2 </ b> </a>' ,'sum(a / b)') from src LIMIT 1;

3.0

xpath_float

xpath_float(xml,xpath) - 返回与xpath表达式匹配的浮点值

示例:

> SELECT xpath_float('<a> <b> 1 </ b> <b> 2 </ b> </a>','sum (a / b)')FROM src LIMIT 1;

3.0

xpath_int

xpath_int(xml,xpath) - 返回与xpath表达式匹配的整数值

示例:

> SELECT xpath_int('<a> <b> 1 </ b> <b> 2 </ b> </a>','sum (a / b)')FROM src LIMIT 1;

3

xpath_long

xpath_long(xml,xpath) - 返回与xpath表达式匹配的long值

示例:

> SELECT xpath_long('<a> <b> 1 </ b> <b> 2 </ b> </a>','sum (a / b)')FROM src LIMIT 1;

3

xpath_number

xpath_number(xml,xpath) - 返回与xpath表达式匹配的double值

别名:xpath_double

示例:

> SELECT xpath_number('<a> <b> 1 </ b> <b> 2 </ b> </a>' ,'sum(a / b)')from src LIMIT 1;

3.0

xpath_short

xpath_short(xml,xpath) - 返回与xpath表达式匹配的short值

示例:

> SELECT xpath_short('<a> <b> 1 </ b> <b> 2 </ b> </a>','sum (a / b)')FROM src LIMIT 1;

3

xpath_string

xpath_string(xml,xpath) - 返回与xpath表达式匹配的第一个xml节点的文本内容

示例:

> SELECT xpath_string('<a> <b> b </ b> <c> cc </ c> </ a >','a / c')FROM src LIMIT 1;

'cc'

> SELECT xpath_string('<a> <b> b1 </ b> <b> b2 </ b> </a>','a / b')FROM src LIMIT 1;

'b1'

> SELECT xpath_string('<a> <b> b1 </ b> <b> b2 </ b> </a>','a / b [2]')FROM src LIMIT 1;

'b2'

> SELECT xpath_string('<a> <b> b1 </ b> <b> b2 </ b> </a>','a')FROM src LIMIT 1;

'B1B2'

year

year(param) - 返回日期/时间戳/间隔的年份组件

param可以是以下之一:

1。格式为'yyyy-MM-dd HH:mm:ss'或'yyyy-MM-dd'的字符串。

2.日期值

3.时间戳值

4.年 - 月间隔值示例:

> SELECT year('2009-07-30')FROM src LIMIT 1;

2009年