1.重复数据产生原因

正常我们使用MergeTree引擎创建表,虽然MergeTree拥有主键,但是它的主键没有唯一键的约束,这就意味着即便多行数据的主键相同,它们还是能够被正常写入。这里如果需要去重,可以使用 ReplacingMergeTree,它能够在合并分区时删除重复的数据,但是只能对同一分区的数据去重,且去重依据是order by排序键。

2.使用ReplacingMergeTree引擎创建表

create table replace_test(
id String,
code String,
create_time DateTime
)ENGINE = ReplacingMergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (id,code)
PRIMARY key id;

3.插入测试数据

nsert into replace_test values ('1','tracy','2022-02-17 21:18:00');

insert into replace_test values ('1','tracy','2022-02-17 21:19:00');

insert into replace_test values ('1','tracy','2022-02-17 21:20:00');

insert into replace_test values ('2','monica','2022-02-17 21:18:00');

insert into replace_test values ('2','monica','2022-02-17 21:19:00');

4.执行optimize手动触发合并

optimize table replace_test final;

5.查询获取结果

select * from replace_test;

id

code

create_time

1

tracy

2022-02-17 21:20:00

2

monica

2022-02-17 21:19:00