最近工作中有这样一个ElasticSearch(以下简称ES)写入的场景,Flink处理完数据实时写入ES。现在需要将一批历史数据通过Flink加载到到ES,有两个点需要保证:1.对于历史数据,ES已有文档,则舍弃旧数据,ES没有则插入历史数据。2.对于新数据,能对现有的ES数据进行更新。
ElasticSearch(以下简称ES)的数据写入支持高并发,高并发就会带来很普遍的数据一致性问题。常见的解决方法就是加锁。同样,ES为了保证高并发写的数据一致性问题,加入了类似于锁的实现方法--版本控制。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号