实际项目开发中,总是会遇到数据需要定时更新的问题,需要写一个定时任务,比如每7天更新一次,更新周期是7天,要保证更新期间时产生的数据不要被忽略,那么定时任务中的update更新时间如何设置呢?
案例:我需要每隔一定时间,对数据库中某个表的数据同步到另一个数据表,表里面有update字段,一开始先进行全量的数据更新,之后呢,需要对后来添加的数据进行增量同步。
解决方法:
1、在每次更新时,把当前更新的时间存储到数据库中,等到下次更新时,再从数据库中获取更新字段,获取数据库中上次的更新时间到当前时间增加的数据表记录,然后进行更新,更新结束后又把更新时间,(这个更新时间,是更新前的时间)存储到数据库。
2、设置update时间=当前时间-更新周期,例如更新周期7天,假设今天是7号,那么选择1号作为更新时间,去数据库取出大于1号的数据表记录,然后进行更新。
第一个方法需要单独存储一个update字段到数据库,每次更新都需要去数据库获取上次更新的时间,这涉及数据库操作,肯定是慢的。
因此第一个方法的缺点:1、需要单独存储update字段到数据库;
而第二个方法就解决这个问题,首先第2个方法不需要单独存储update字段,她的update字段是通过【new Date() - 更新周期】就可以得到,也就是更新时间update小于更新当天的时间一个更新周期,比如更新周期2天,今天是2022-10-16 12.00,那么update=2022-10-14 12.00,开始更新,那么2022-10-14 12.00到2022-10-16 12.00的数据都可以被更新到,如果还是更新需要花费2小时,那么2022-10-16 12.00到2022-10-16 14.00就是这个更新期间产生的数据,下次到了2022-10-18 12.00,那么update=2022-10-16 12.00,2022-10-16 12.00到2022-10-18 12.00的数据都可以被更新到,所以更新期间产生的数据2022-10-16 12.00到2022-10-16 14.00也被包含了
因此update时间=当前时间-更新周期,可以保证更新期间产生的数据都留到下一次更新去更新。
当然我这里没有考虑到同步失败的问题,如果同步失败,第一个方法就不会更新update时间,下次更新时,还从上一次成功更新的update开始,这个无问题.
如果是第2种方法同步失败,可以设置一个字段变量flag初始值为1,同步失败就flag+1,如果持续同步失败,就继续加1,那么update时间=当前时间-更新周期*flag,但是一旦同步成功,就flag=1。