数据漂移的概念:
同一业务日期下的数据包含了不属于该业务日期的数据(上一天数据漂移到当天,或者当天数据漂移到下一天)或者缺失了该业务日期数据或该业务日期下的数据非最新
数仓常用4个时间介绍
(1)数据库表中用于记录具体业务过程发生时间的时间戳字段(假设这类字段叫create_time);
(2)数据库表中用来表示数据记录更新时间的时间戳字段(假设这类字段叫update_time);
(3)数据库日志表中用来表示数据记录更新时间的时间戳字段(假设这类字段叫log_time);
(4)标识数据记录被抽取到时间的时间戳字段(假设这类字段叫extract_time);
假设的场景:
一张订单业务表,按照上述某一个时间所对应的日期做分区,每个分区只存当天的数据
可能出现的问题及解决方案:
(1)以create_time抽取数据,用其对应的日期作为分区字段:
由于create_time为业务记录产生的时间,这个分区内只会有产生时刻的数据,对于不同更新策略所产生的问题也不同
①T+1更新:对于分区内所有产生更新的数据,都有1天的延迟,只有在T+2天才会更新T+1分区内的数据,且当天分区中会存在下一天数据,对于实时性及业务应用较高的情况下,影响较大
②H+1更新:若为每个分区覆盖写,每个分区更新的数据都有1小时的延迟,若为只当前时间分区插入,则每个分区更新的数据,不会产生更新
(2)以update_time对应的日期作为分区字段:
无论是T+1还是H+1更新,每个分区内只会有更新时间对应的日期的数,但是每个分区内会存在业务时间跨多天的数据
(3)以log_time对应的日期作为分区字段
对于操作记录表,操作记录是根据操作时间从前至后的,每个分区内会存在业务时间跨多天的数据
(4)工作中不常用
结合目前实际业务需求,工作中使用的方法:
对于有经常变更的业务数据,我们采用的办法是,维护一张同时具有T+1分区(全量)和一个H+1分区(当天更新)的业务表
其中,T+1分区用create_time限制创建时间小于当天的历史全量数据,这样可保证T+1分区皆为历史数据
H+1用update_time抽取更改时间为当天更改及新增全部的数据,这样可保证H+1分区中有变更的数据
在使用中结合历史数据与当天变更数据,以主键为分组用update_time倒序排列,取出每个主键唯一一条记录。