Text analysis 是什么

Text analysis 是将分结构化文本转化成结构化文本的过程。

触发时机

当索引或者搜索text类型字段，就会触发文本分析。

工作流程

1.字符过滤器

字符过滤器是对原始文本的处理，比如转换文字编码，过滤网页元素等。

2.令牌生成器

令牌生成器将字符过滤器处理之后的字节流进行处理，得到令牌（tokens）。

分析器必须有且仅有一个令牌生成器。

3.令牌过滤器

令牌过滤器接收令牌生成器返回的令牌流，再做一些处理。

令牌过滤器不允许更改每个令牌的位置或字符偏移量。

分析器可能具有零个或多个按顺序应用的令牌过滤器。

参考资料
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html#analysis