目录

13位时间戳转毫秒时间类型

关于UTC时间

获取当前时间

from_unixtime()填坑

固定日期转换成时间戳

返回日期时间字段中的日期部分

返回日期的增减操作



13位时间戳转毫秒时间类型

        在生产实践中,例如:需要对页面点击行为日志进行ETL清洗,这时会发现,同一秒中会有多个请求日志,需要区分这些请求日志的先后顺序,必须采用毫秒统计。这就意味着将13位时间戳除以1000转换成10位的方法已经不复存在了。

        虽然hive中没有提供13位时间戳转换内置函数,但是我们可以使用以下方法解决:

--时间戳转换成固定日期
select
    concat(t,".",substring(1629637370845,11,13))
from(
    select from_unixtime(
        cast(substring(1629637370845,0,10) as bigint),
        'yyyy-MM-dd HH:mm:ss') as t
)tmp;

输出结果:
2021-08-22 13:02:50.845


-- 固定日期转换成时间戳
select concat(t,substring('2021-08-22 13:02:50.845',21,23))
from (
    select unix_timestamp(
        concat(substring('2021-08-22 13:02:50.845',1,19),' +0800')
        ,'yyyy-MM-dd HH:mm:ss Z') as t
)tmp;
输出结果:
1629608570845

备注:

        1、读者也可以使用自定义函数完成,实现过程也很简单。

        2、from_unixtime存在一些小坑,后文将会具体介绍。

关于UTC时间

通用协调时(UTC, Universal Time Coordinated)。UTC与格林尼治平均时(GMT, Greenwich Mean Time)一样,都与英国伦敦的本地时相同。UTC与GMT含义完全相同。

        以北京时间东八区(UTC+8)为例,需要将UTC时间转换成北京时间,可以使用以下两个函数:

       1、 to_utc_timestamp(timestamp, timezone)        --将timestamp转换成UTC时间

       2、 from_utc_timestamp(timestamp, timezone)    --UTC时间转换成timezone时间

--UTC时间转换成北京时间
select from_utc_timestamp(1629637370845,'PRC');
select from_utc_timestamp(1629637370845,'Asia/Shanghai');
输出结果:
2021-08-22 21:02:50.845
2021-08-22 21:02:50.845

--北京时间转换成UTC/GMT时间
select to_utc_timestamp(1629637370845,'UTC');
select to_utc_timestamp(1629637370845,'GMT');
输出结果:
2021-08-22 13:02:50.845
2021-08-22 13:02:50.845

 备注:北京时间可以使用PRC(the People's Republic of China,中华人民共和国)简写,也可以使用Asia/Shanghai(亚洲/上海)。

获取当前时间

UNIX_TIMESTAMP()         -- 得到时间戳

--返回当天三种方式
SELECT CURRENT_DATE();
SELECT CURRENT_TIMESTAMP();
select unix_timestamp();
输出结果:
2021-08-22
2021-08-22 14:48:18.455
1629614898


--返回当月的第一天
select trunc('2021-08-22','MM');
--返回当年的第一天
select trunc('2021-08-22','YEAR');
输出结果:
2021-08-01
2021-01-01

from_unixtime()填坑

1、from_unixtime(unix_time, format)         --返回指定时间内的unix_时间

2、date_format(date/timestamp/string, fmt)

                                --将日期/时间戳/字符串转换为日期格式fmt指定格式的字符串值。

select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss');
select date_format(current_timestamp,'yyyy-MM-dd HH:mm:ss');

输出结果:
2021-08-22 09:34:11
2021-08-22 17:34:11

        当前日期:2021-08-22 17:34:11

        读者可能会发现两者时间相差8个小时,翻找官方文档查看unix_timestamp获取时间属性:

Converts time string in format yyyy-MM-dd HH:mm:ss to Unix timestamp (in seconds), using the default timezone and the default locale, return 0 if fail;
翻译:
将时间字符串转换为Unix时间戳(以秒为单位),使用默认时区和默认语言环境,如果失败,返回0。

select date_format(current_timestamp,'yyyy-MM-dd HH:mm:ss')代替。实际上,当在使用unix_timestamp()时,官方已经提示unix_timestamp(void)被弃用,如图所示:

hive 时分秒后面有点零 hive中时间差精确到毫秒_unix

 小提示:我们还可以使用 select from_utc_timestamp(unix_timestamp() * 1000,'PRC');来获取正确的时间。

固定日期转换成时间戳

1、to_unix_timestamp(date[, pattern])        --返回UNIX时间戳

2、unix_timestamp(date[, pattern])            --将时间转换为数字

select to_unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss Z');

select unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss Z');

返回结果:
1629615090
1629615090

--注意:如果不给定时区,会比正确结果领先8小时。
select unix_timestamp('2021-08-22 14:51:30 +0800','yyyy-MM-dd HH:mm:ss');
返回结果:
1629643890
  1. 特殊的,将22/Aug/2021:15:05:01 +0800转换成时间戳: 
select unix_timestamp('22/Aug/2021:15:05:01 +0800','dd/MMM/yyy:HH:mm:ss Z');
输出结果:
1629615901

 2.特殊的,将22/Aug/2021:15:05:01 +0800转换成正常格式(yyyy-MM-dd HH:mm:ss):

select from_unixtime(
        to_unix_timestamp('22/Aug/2021:15:05:01 +0800', 'dd/MMM/yyy:HH:mm:ss')
);
输出结果:
2021-08-22 15:05:01

备注:如果将写成

select from_unixtime(
        to_unix_timestamp('22/Aug/2021:15:05:01 +0800', 'dd/MMM/yyy:HH:mm:ss Z')
);

则会晚8小时,输出结果为:

2021-08-22 07:05:01

返回日期时间字段中的日期部分

返回日期:2021-08-22
        select to_date('2021-08-22 14:48:18');

返回日期中的年:2021
        select year('2021-08-22 14:48:18');

返回日期中的月:8
        select month('2021-08-22 14:48:18');

返回日期中的日:22
        select day('2021-08-22 14:48:18') ;

返回日期中的时:14
        select hour('2021-08-22 14:48:18') ;

返回日期中的分:48
        select minute('2021-08-22 14:48:18') ;

返回日期中的秒:18
        select second('2021-08-22 14:48:18') ;

返回日期在当前的周数:33
        select weekofyear('2021-08-22 14:48:18') ;

返回日期中date是星期几:1(周日--1、周一--2、周二--3.......)

        select dayofweek('2021-08-22 14:48:18');

返回日期的增减操作

返回结束日期减去开始日期的天数:10
        select datediff('2021-08-22','2021-08-12')

返回开始日期增加days天后的日期:2021-09-01
        select date_add('2021-08-22',10)

返回开始日期减少days天后的日期:2021-08-12
        select date_sub('2021-08-22',10)

有问题可以一起探讨,希望对你有帮助;

我的一小步,填坑一大步!!!