目录
13位时间戳转毫秒时间类型
关于UTC时间
获取当前时间
from_unixtime()填坑
固定日期转换成时间戳
返回日期时间字段中的日期部分
返回日期的增减操作
13位时间戳转毫秒时间类型
在生产实践中,例如:需要对页面点击行为日志进行ETL清洗,这时会发现,同一秒中会有多个请求日志,需要区分这些请求日志的先后顺序,必须采用毫秒统计。这就意味着将13位时间戳除以1000转换成10位的方法已经不复存在了。
虽然hive中没有提供13位时间戳转换内置函数,但是我们可以使用以下方法解决:
--时间戳转换成固定日期
select
concat(t,".",substring(1629637370845,11,13))
from(
select from_unixtime(
cast(substring(1629637370845,0,10) as bigint),
'yyyy-MM-dd HH:mm:ss') as t
)tmp;
输出结果:
2021-08-22 13:02:50.845
-- 固定日期转换成时间戳
select concat(t,substring('2021-08-22 13:02:50.845',21,23))
from (
select unix_timestamp(
concat(substring('2021-08-22 13:02:50.845',1,19),' +0800')
,'yyyy-MM-dd HH:mm:ss Z') as t
)tmp;
输出结果:
1629608570845
备注:
1、读者也可以使用自定义函数完成,实现过程也很简单。
2、from_unixtime存在一些小坑,后文将会具体介绍。
关于UTC时间
通用协调时(UTC, Universal Time Coordinated)。UTC与格林尼治平均时(GMT, Greenwich Mean Time)一样,都与英国伦敦的本地时相同。UTC与GMT含义完全相同。
以北京时间东八区(UTC+8)为例,需要将UTC时间转换成北京时间,可以使用以下两个函数:
1、 to_utc_timestamp(timestamp, timezone) --将timestamp转换成UTC时间
2、 from_utc_timestamp(timestamp, timezone) --UTC时间转换成timezone时间
--UTC时间转换成北京时间
select from_utc_timestamp(1629637370845,'PRC');
select from_utc_timestamp(1629637370845,'Asia/Shanghai');
输出结果:
2021-08-22 21:02:50.845
2021-08-22 21:02:50.845
--北京时间转换成UTC/GMT时间
select to_utc_timestamp(1629637370845,'UTC');
select to_utc_timestamp(1629637370845,'GMT');
输出结果:
2021-08-22 13:02:50.845
2021-08-22 13:02:50.845
备注:北京时间可以使用PRC(the People's Republic of China,中华人民共和国)简写,也可以使用Asia/Shanghai(亚洲/上海)。
获取当前时间
UNIX_TIMESTAMP() -- 得到时间戳
--返回当天三种方式
SELECT CURRENT_DATE();
SELECT CURRENT_TIMESTAMP();
select unix_timestamp();
输出结果:
2021-08-22
2021-08-22 14:48:18.455
1629614898
--返回当月的第一天
select trunc('2021-08-22','MM');
--返回当年的第一天
select trunc('2021-08-22','YEAR');
输出结果:
2021-08-01
2021-01-01
from_unixtime()填坑
1、from_unixtime(unix_time, format) --返回指定时间内的unix_时间
2、date_format(date/timestamp/string, fmt)
--将日期/时间戳/字符串转换为日期格式fmt指定格式的字符串值。
select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss');
select date_format(current_timestamp,'yyyy-MM-dd HH:mm:ss');
输出结果:
2021-08-22 09:34:11
2021-08-22 17:34:11
当前日期:2021-08-22 17:34:11
读者可能会发现两者时间相差8个小时,翻找官方文档查看unix_timestamp获取时间属性:
Converts time string in format yyyy-MM-dd HH:mm:ss to Unix timestamp (in seconds), using the default timezone and the default locale, return 0 if fail;
翻译:
将时间字符串转换为Unix时间戳(以秒为单位),使用默认时区和默认语言环境,如果失败,返回0。
select date_format(current_timestamp,'yyyy-MM-dd HH:mm:ss')代替。实际上,当在使用unix_timestamp()时,官方已经提示unix_timestamp(void)被弃用,如图所示:
小提示:我们还可以使用 select from_utc_timestamp(unix_timestamp() * 1000,'PRC');来获取正确的时间。
固定日期转换成时间戳
1、to_unix_timestamp(date[, pattern]) --返回UNIX时间戳
2、unix_timestamp(date[, pattern]) --将时间转换为数字
select to_unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss Z');
select unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss Z');
返回结果:
1629615090
1629615090
--注意:如果不给定时区,会比正确结果领先8小时。
select unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss');
返回结果:
1629643890
- 特殊的,将22/Aug/2021:15:05:01 +0800转换成时间戳:
select unix_timestamp('22/Aug/2021:15:05:01 +0800','dd/MMM/yyy:HH:mm:ss Z');
输出结果:
1629615901
2.特殊的,将22/Aug/2021:15:05:01 +0800转换成正常格式(yyyy-MM-dd HH:mm:ss):
select from_unixtime(
to_unix_timestamp('22/Aug/2021:15:05:01 +0800', 'dd/MMM/yyy:HH:mm:ss')
);
输出结果:
2021-08-22 15:05:01
备注:如果将写成
select from_unixtime(
to_unix_timestamp('22/Aug/2021:15:05:01 +0800', 'dd/MMM/yyy:HH:mm:ss Z')
);
则会晚8小时,输出结果为:
2021-08-22 07:05:01
返回日期时间字段中的日期部分
返回日期:2021-08-22
select to_date('2021-08-22 14:48:18');
返回日期中的年:2021
select year('2021-08-22 14:48:18');
返回日期中的月:8
select month('2021-08-22 14:48:18');
返回日期中的日:22
select day('2021-08-22 14:48:18') ;
返回日期中的时:14
select hour('2021-08-22 14:48:18') ;
返回日期中的分:48
select minute('2021-08-22 14:48:18') ;
返回日期中的秒:18
select second('2021-08-22 14:48:18') ;
返回日期在当前的周数:33
select weekofyear('2021-08-22 14:48:18') ;
返回日期中date是星期几:1(周日--1、周一--2、周二--3.......)
select dayofweek('2021-08-22 14:48:18');
返回日期的增减操作
返回结束日期减去开始日期的天数:10
select datediff('2021-08-22','2021-08-12')
返回开始日期增加days天后的日期:2021-09-01
select date_add('2021-08-22',10)
返回开始日期减少days天后的日期:2021-08-12
select date_sub('2021-08-22',10)
有问题可以一起探讨,希望对你有帮助;
我的一小步,填坑一大步!!!