======================================

一、关系函数

1.等值比較:=

    语法:A=B

操作类型:全部基本类型

2.不等值比較:<>

    语法:A<>B

    操作类型:全部基本类型

3.小于比較:<

    语法:A<B

操作类型:全部基本类型

4.空值推断:IS NULL

    语法:a is null

操作类型:全部类型

5.非空推断:IS NOT NULL

    语法:a is not null

    操作类型:全部基本类型

6.LIKE比較:LIKE

    语法:A LIKE B

    操作类型:strings

7.JAVA的LIKE操作:RLIKE

    语法:A RLIKE B

    操作类型:strings

    描写叙述:假设字符串A或者字符串B为NULL。则返回NULL;假设字符串符合

    JAVA正則表達式B的正则语法,则为TRUE,否则为FALSE。

8.REGEXP操作:REGEXP

    语法:A REGEXP B

    操作类型:strings

    描写叙述:功能与RLIKE同样


二、数学运算

1.加法操作:+

    语法:A+B

    操作类型:全部数值类型

2.减法操作:-

    语法:A-B

    操作类型:全部数值类型

3.取余操作:%

    语法:A%B

    操作类型:全部数值类型

4.位与操作:&

    语法:A&B

    操作类型:全部数值类型

5.位或操作:|

    语法:A|B

    操作类型:全部数值类型

6.位异或操作:^

    语法:A^B

    操作类型:全部数值类型

    说明:返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型

    和B的类型的最小父类型。

    举例:

    hive>select 4^8 from sun_test;

    12

    hive>select 6^4 from sun_test;

    2

7.位取反操作:~

    语法:~A

    操作类型:全部数值类型


三、逻辑运算

1.逻辑与操作:AND

    语法:A AND B

    操作类型:boolean

2.逻辑或操作:OR

    语法:A OR B

    操作类型:boolean

3.逻辑非操作:NOT

    语法:NOT A

    操作类型:boolean


四、数值计算

1.取整函数:round

    语法:round(double a)

    返回值:BIGINT

    说明:返回double类型的整数值部分(遵循四舍五入)

举例:

    hive>select round(3.14) from sun_test;

    3

    hive>select round(3.23456,3) from sun_test;

    3.234

2.向下取整函数:floor

    说明:返回等于或者小于该double变量的最大的整数

    hive>select floor(3.56) from sun_test;

    3

3.向上取整函数:cel=il/ceiling

    说明:返回等于或者大于该double变量的最小的整数

    hive>select ceil(3.123) from sun_test;

    4

4.取随机数函数:rand

    说明:返回一个0到1范围内的随机数。

hive>select rand() from sun_test;

0.43253251532532

5.自然指数函数exp

    说明:返回自然对数e的a次方

hive>select exp(2) from sun_test;

7.38905609893065

6.以10为底对数函数:log10

    语法:log10(100)=2.0

7.幂运算函数:pow/power

    语法:pow(2,3)=8

8.开平方函数:sqrt

    语法:sqrt(16)=4

9.十六进制函数:hex

    语法:hex(BIGINT a)

说明:假设变量时int类型。那么返回a的16进制表示;假设变量时string类型,

则返回该字符串的10进制表示

hive>select hex(17) from sun_test;

11

hive>select hex('abc') from sun_test;

616263

10.进制转换函数:conv

    conv(17,10,16)=11

conv(17,10,2)=10001

11.绝对值函数:abs

    conv(-3.3)=3.3


五、字符串函数

1.字符串长度函数:length

    length('acbfa')=5

2.字符串反转函数:reverse

    reverse('abcde')=edcba

3.字符串链接函数:concat

    concat('aa','bb','cc')=aabbcc

4.带分隔符字符串连接函数:concat_ws

    concat_ws(',','aaa','bbb','ccc')=aaa,bbb,ccc

5.字符串截取函数:substr,substring

    substr('abcde',3)=cde

substr('abcde',-1)=e

substr('abcde',-2,2)=de

substr('abcde',3,2)=cd

6.字符串转大写函数:upper,ucase

7.字符串转小写函数:lower,lcase

8.去空格函数:trim()、ltrim()、rtrim()

9.正則表達式替换函数:regexp_replace

    regexp_replace('foobar','oo|ar','')=fb

10.正則表達式解析函数:regexp_extract

    语法: regexp_extract(string subject, string pattern, int index)

    返回值: string

    说明:将字符串subject依照pattern正則表達式的规则拆分,返回index指定的字符。

举例:

hive> select regexp_extract('foothebar', 'foo(.*?

)(bar)', 1) fromlxw_dual;

    the

    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) fromlxw_dual;

    bar

    hive> select regexp_extract('foothebar', 'foo(.*?

)(bar)', 0) fromlxw_dual;

    foothebar

  注意。在有些情况下要使用转义字符,以下的等号要用双竖线转义,这是java正則表達式的规则。

    select data_field,

     regexp_extract(data_field,'.*?bgStart\\=([^&]+)',1) as aaa,

     regexp_extract(data_field,'.*?contentLoaded_headStart\\=([^&]+)',1) as bbb,

     regexp_extract(data_field,'.*?AppLoad2Req\\=([^&]+)',1) as ccc

     from pt_nginx_loginlog_st 

     where pt = '2012-03-26'limit 2;

14. URL解析函数:parse_url

    语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])

    返回值: string

    说明:返回URL中指定的部分。

partToExtract的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.

    举例:

    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') fromlxw_dual;

    facebook.com

    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1') from lxw_dual;

    v1

15. json解析函数:get_json_object

    语法: get_json_object(string json_string, string path)

    返回值: string

    说明:解析json的字符串json_string,返回path指定的内容。假设输入的json字符串无效,那么返回NULL。

    举例:

    hive> select get_json_object('{"store":

        >  {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],

        >   "bicycle":{"price":19.95,"color":"red"}

        >   },

        > "email":"amy@only_for_json_udf_test.net",

        >  "owner":"amy"

        > }

        > ','$.owner') from lxw_dual;

    amy


六、其他

1.切割字符串函数:split

2.个数统计函数:count

3.总和统计函数:sum

4.平均值统计函数:avg

5.最小值统计函数:min

6.最大值统计函数:max

7.类型转换函数:cast