clickhouse物化视图 到 mysql clickhouse物化视图 更新延迟

一致性

CLK有个比较致命的缺点就是数据一致性的问题,CLK仅仅只能保证数据的最终一致性
比如CLK的去重MT

所以在使用CLK的时候,肯定也一定会出现短暂的数据不一致的情况

解决方法:

1. 手动OPTIMIZE

在表数据插入进来的时候,立马执行OPTIMIZE强制触发CLK的合并动作,这种方式虽然可以解决,但是对下游的影响往往是非常大的,除非这张表只有你一个人在使用,否则不建议这样做

2. GROUP BY + 视图

众所周知GROUP BY是去重的最简单方式,那么我们就可以对数据进行GROUP
BY操作,将查询出来的结果集进行一个视图的落地,这也是生产上用的比较多的方式

3. FINAL关键字

这个方法我个人感觉并不太好,FINAL虽然可以解决数据重复的问题,但是FINAL的局限性比较多,列字段的大小,分区的数量等等因素都会影响到FINAL的性能

使用方法:

select * from visits_v1 final WHERE StartDate = '2014-03-17' limit 100 settings max_final_threads = 2;

物化视图

物化视图是CLK的一个独有的特性,其实就可以理解为一个临时表,将一个结果集进行持久化操作,使用起来和表没什么区别

但是物化视图和普通视图还是有些区别的:

普通视图不保存数据,仅仅保存的是查询语句,使用普通视图底层其实走的还是原表,但是物化视图则是把查询语句和查询语句查出来的结果都给落地到磁盘或者内存中,视图是虚无缥缈的,但是物化视图是实实在在的

物化视图的优点就是快,可以在结果集与结果集之间进行临时结果的存放,但是物化视图也并非是完美的,当数据变动的特别频繁的时候,物化视图就不太好用了,因为物化视图的源数据也会随着原表的数据变动而变动,原表变动的太频繁,物化视图也会跟着变动,就会造成不必要的资源浪费