1.数据过滤尽量先过滤数据，减少每个阶段的数据量，然后再进行join2.分区要合理使用分区，hive分区数据文件是放在不同目录下的3.执行顺序hive总是按照从左到右的顺序执行语句4.job任务数hive会对每次join启动一个mapreduce任务当对3个或者更多个表进行join连接时，如果每个on都使用相同的连接键的话，那么只会产生一个mapreduce job启动一次job尽可能的多做事情，
1、解析URL字符串的： parse_url 用法： select parse_url("",[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]) 举例 ： select parse_url('http://facebook.com/path ...
转载
2021-08-20 17:59:00
844阅读
2评论
b
内容较多，见《Hive官方文档》
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
转载
2022-04-13 11:38:47
120阅读
Hive 常用函数 关系运算 // 等值比较 = == <=> // 不等值比较 != <> // 区间比较： select * from default.students where id between 1500100001 and 1500100010; // 空值/非空值判断：is null ...
转载
2021-08-31 17:08:00
71阅读
2评论
字符串函数字符串长度函数：length Java代码 语法: length(string A) 返回值: int
转载
2022-08-20 00:00:14
52阅读
字符串函数字符串长度函数：length 语法: length(string A)返回值: in
原创
2023-04-20 16:44:47
84阅读
常用日期函数unix_timestamp:返回当前或指定时间的时间戳
from_uni xtime：将时间戳转为日期格式
current_date：当前日期
current_timestamp：当前的日期加时间
to_date：抽取日期部分
year：获取年
month：获取月
day：获取日
hour：获取时
minute：获取分
second：获取秒
weekofyear：当前时间是一
转载
2023-05-22 11:23:47
343阅读
1.hive的基本操作建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type[COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_namedata_type [COMMENT col_c
转载
2021-08-05 11:09:00
395阅读
2评论
1.获取当前日期 如2020-13-22current_date() 或者current_date获取当前时间：from_unixtime(unix_timestamp()) -->返回格式：yyyy-MM-dd HH:mm:ss ：current_timestamp() -->返回格式：yyyy-MM-dd HH:mm:ss.xxx2.时间
转载
2021-04-29 14:43:35
792阅读
2评论
hive常用语句 CONCAT_WS:1能根据指定的字符分隔array 或者能根据指定的字符拼接 多个字段 （数据需要是string类型）CONCAT_WS("&",["fad","peng"]) as names =>输出结果 fad&peng (concat with separator)CON ...
转载
2021-10-25 19:06:00
142阅读
2评论
第一次接触hive sql，听说与标准的sql是差不多的，但是在实际使用过程当中发现还是有差别，特做记录。 日期函数 date_sub(date, int1)：返回日期date减去int1的日期 【input：date_sub('2021-11-15', 1)；output：'2021-11-14'
原创
2022-05-24 10:12:29
144阅读
1常用函数常用日期函数unix_timestamp:返回当前或指定时间的时间戳from_unixtime几天months_between： 两个日期间的
原创
2022-09-15 19:50:33
129阅读
日期函数无论做什么数据，都离不开日期函数的使用。这里记录一下Hive的日期函数的使用，写的相当完整。1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时
转载
2023-07-10 21:54:12
107阅读
现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它性能可能不够优秀，但是它太方便、功能太强大了，做离线批量计算、ad-hoc查询甚至是实现数据挖掘算法，而且，和HBase、Spark、Tez都能整合使用。如果你是做大数据分析平
转载
2023-08-13 14:31:48
44阅读
查询相关函数空字段赋值 (NVL)函数说明：给值为null的数据赋值，语法为nvl(str,replace_with)，它的功能是如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值，如果两个参数都为NULL ，则返回NULL；例：如果员工的comm为NULL，则用-1代替：select nvl(comm,-1) from emp;
CASE WH
转载
2023-07-12 13:07:09
82阅读
开窗函数over（），over（）里面一般可以配合分组，排序，窗口范围三个条件使用，也可以单独用一个条件，格式如over（partition by order by between ... and）通过partition by 关键字来对窗口分组，特殊注意：通过order by 来对order by字段排序后的行进行开窗，窗口范围如果没有设置，则每一行对应整张表。窗口函数一般和分析函数连用。1、o
一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALSE不等值比较: <>语
转载
2023-07-12 21:23:41
271阅读
转载
2021-09-13 10:26:53
140阅读
目录一、hive数据库日常常用函数总结1.季度日期的规范2. 开窗函数over()3. 分区函数partition by用法4. rank()和row_number()用法5. 数据类型转换 cast()函数6. 数据库的正则表达式函数形式 regexp_xxxxx()7. instr()函数8.from_unixtime()函数和unix_timestamp()函数9.lateral view
转载
2023-07-21 16:18:53
60阅读
