Elasticsearch是怎样写入的?

1、首先我们要知道Elasticsearch是分布式的,写入的时候需要通过某一台协调主机去哈希一下,看这条数据要写进哪个分片节点,然后再将数据传入具体的分片节点。如图:

Java 中es的保存方法 es怎么存储数据_java


2、当分片节点具体所在主机接收到写入数据请求时,会先将数据写进内存buffer缓冲区和translog日志文件中。

Java 中es的保存方法 es怎么存储数据_java_02


3、 每隔1秒,内存buffer中的数据会写入主机操作系统的缓存中并且产生一个segment file文件,到了这一步,就可以将索引数据查询出来了。所以这里有一个概念,es数据是准实时的,因为只有一秒的延迟。这个过程叫做refresh

Java 中es的保存方法 es怎么存储数据_elasticsearch_03

4、数据一直存在缓存中肯定是不行的吧,那么每隔5秒钟,会将操作系统缓存中的数据持久化到磁盘。这个过程叫做fsync

Java 中es的保存方法 es怎么存储数据_分布式搜索_04

5、由于磁盘中的日志文件是每隔5秒钟就写入一次的,那么肯定会越来越大,所以每隔30分钟会强行,将translog日志文件中的数据刷到磁盘segment file中,然后清空日志文件。这个过程叫做flush

Java 中es的保存方法 es怎么存储数据_java_05

6、由于buffer每refresh的时候都会生成一个segment file文件,那么肯定会越来越多,所以会定义遍历segment file文件,把那些相似的多个文件合并为一个,将新的segment file文件写入磁盘,并且会写一个commit point,标识所有新的segment file文件,并打开文件供搜索操作。同时删除旧的segment file文件。
而且遍历文件的时候会进行同时读取 .del 文件,将标记删除的数据进行deleted物理删除
这个过程叫做merge

如果总结一下写入的过程,那么只需要记住4个过程
refresh
es接收数据请求时先存入内存中,默认每隔一秒会从内存buffer中将数据写入系统缓存filesystem cache,这个过程叫做refresh;

fsync
translog会每隔5秒或者在一个变更请求完成之后执行一次fsync操作,将系统缓存中数据刷入磁盘,并且日志文件translog也从缓存刷入磁盘,这个操作比较耗时,如果对数据一致性要求不是跟高时建议将索引改为异步,如果节点宕机时会有5秒数据丢失;

flush
es默认每隔30分钟会将translog中的数据刷入磁盘同时清空translog日志文件,这个过程叫做flush。

merge
合并segment file文件,并且将标记已删除的数据进行物理删除

丢失数据怎么办?

由于写入数据时候fsync过程需要的时间是5秒钟才会将数据写入到磁盘,如果这个过程中机器宕机了,那么就会丢失5秒钟的数据。
es在写入的时候可以设置为不止写入buffer、同时还写入磁盘上的translog,这样的话宕机就不怕丢了。但是肯定会损失一定的性能,写入的吞吐量会下降一个数量级。

Elasticsearch是怎样删除数据的?

es接收到删除请求的时候并不会将数据like删除,而是将需要删除数据做一个标记,存入 .del 文件中,那么搜索数据时发现数据在.del文件中,就知道被删除了。

Elasticsearch是怎样查询数据的?

1、当ES写入数据的时候根据给你分配一个全局唯一的doc id,并且根据这个doc id进行hash路由到指定的primary shard分片上去。也可以手动指定doc id,比如订单号,手机号之类的。

所以查询的时候就可以通过doc id来查询,get某一条数据的时候就会根据doc id来hash路由定位到某个shard分片

get的时候选取的某个节点称为协调主机,由它来进行doc id的hash路由。

如图:

Java 中es的保存方法 es怎么存储数据_分布式搜索_06

Elasticsearch是怎样搜索数据的?

比如现在存的数据有:青椒牛肉、红烧牛肉、鸡蛋西红柿,三条数据。现在想要搜索关键词 “牛肉”。

  1. 首先选取一个主机,将关键字“牛肉”传过去,这个指定主机会被称为“协调主机”
  2. 协调主机会将该关键字“牛肉”,分发给所有分片,可能是primanry shard分片节点,也可能是replica shard分片节点。
  3. 接收到关键字的shard分片,会将匹配数据的doc id返回至“协调主机”
  4. “协调主机”再根据这些doc id到对应主机查询出相应数据
  5. 拿到完整的docment数据后,筛选、返回至客户端

如图:

Java 中es的保存方法 es怎么存储数据_elasticsearch_07