freeAngus的博客_Elasticsearch

量化在密集向量检索中的权衡：深入分析索引时间、查询效率与召回效果

在现代信息检索系统中，向量搜索已成为提升检索质量和效率的关键技术。随着数据量的激增，如何高效地处

量化

数据集

搜索

倒排索引

原创 2024-09-23 14:55:21 151 阅读

ES 近一年新版本，关于knn的新功能与优化

近一年，es发布了很多个版本。本文，主要整理了es关于knn搜索相关的优化项。也放了官方文档的链接。

elasticsearch

大数据

搜索引擎

搜索

Elastic

原创 2024-09-01 10:47:01 369 阅读

Elasticsearch向量检索（KNN）千万级耗时长问题分析与优化方案

第一次对索引进行查询时，如果预加载的文件（如 .vec、.vem、.vex 文件）尚未被加载到内存中，Elasticsearch 需要从磁盘读取这些文件

elasticsearch

KNN慢查询分析

KNN慢查询优化

千万

数据

原创精选 2024-09-01 10:46:31 1805 阅读

再仔细品品Elasticsearch的向量检索

我在es一开始有向量检索，就开始关注这方面内容了。特别是在8.X之后的版本，更是如此。我也已经把它应用在亿级的生产环境中，用于多模

elasticsearch

搜索引擎

向量检索

搜索

数据

原创 2024-05-03 11:56:11 254 阅读

python 如何使用 NLPchina 开源sql插件，提供代码

分享一段使用python，通过使用发送post请求的方式，来从es集群中获取数据。不用使用 elasticsearh，仅需要导入request和json包即可。

java

服务器

数据库

sql

json

原创 2024-03-29 16:39:27 22 阅读

kibana 上dashbord 和discover 时间快 or 慢 8小时，处理方案

在es库中的数据的时间是正确的。但是在kibana的discover展示页面上是错误的，错了8个小时。我这里是快了8个小时。这个问

kibana时区问题

deshbord 时间快8小时

discover比es快8小时

数据

解决方案

原创 2024-03-22 15:14:29 193 阅读

kibana配置 dashbord，做可视化展示

一、环境介绍这里我使用的kibana版本为7.17版本。语言选择为中文。需要已经有es，已经有kibana，并且都能正常访问。二、背

kibana dashbrod

配置dashbord

es如何做可视化展示

字段

时间戳

原创 2024-03-22 15:14:28 275 阅读

数据从A集群，使用logstash迁移到B集群，如何保持_Id一致

有时候，我们在跨集群数据同步的时候，需要保持_id一致。这里直接给出一个配置文件。

logstash

如何取_id

elasticsearch

ci

配置文件

原创 2024-01-03 11:24:23 73 阅读

windows下logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null

logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null

windows

elasticsearch

大数据

logstash

json

原创 2024-01-03 11:24:18 140 阅读

如何在使用logstash导出的时候，包含索引名称和_id

我还需要把原来数据中的_id保存下来，在新的集群中导入的时候，指定_id。这里，我的需求是，把es中的数据导出到本地文件中，一行一个json。logstash配置文件如下。这里有一个配置文件！

logstash导出数据

logstash导出json

logstash导出_id

json

配置文件

原创 2024-01-03 11:23:43 236 阅读

ES慢查询分析——性能提升6 倍

生产环境频繁报警。查询跨度91天的数据，请求耗时已经来到了30+s。报警的阈值为5s。经过问题排查，提供了优化方案。最后请求时间降到5s内。

es慢查询分析

es检索性能提升

请求截断

动态截断策略

数据

原创精选 2024-01-03 11:23:41 773 阅读

如何做好chatFile？如何做RGA？

向量语义检索，跟具有普适性，用户的问法可能和文档中的内容描述方式不一样，此时语义检索可以发挥好的作用。而

算法

人工智能

机器学习

RGA

chatFile

原创 2024-01-03 11:23:18 225 阅读

一个正则快速找到在ES中使用profile的时产生慢查询的分片

在es中使用profile分析慢查询的时候，往往因为分片过多，或者因为查询条件太复杂，分析的结果几十万行。在kibana上点半天，也找不到一个耗时长的分片。kibana上可以通过正则来匹配。其实我们只需要匹配到耗时大于10秒的请求。

elasticsearch

大数据

搜索引擎

profile找到慢查询分片

慢查询

原创 2023-12-29 09:33:09 83 阅读

2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验

这里整理了 2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验。

数据库

elasticsearch

搜索优化建议

字段

数据

原创精选 2023-12-28 11:05:37 186 阅读

如何做搜索？如何做搜索优化？如何在搜索领域快速成长？

三年多的搜索研发经历，万亿级集群管理经历，集群优化搜索优化经历。将生产环境的集群，检索性能提升了数十倍。也做搜索？如何做好的搜索？如何提升性能。

elasticsearch

大数据

搜索引擎

搜索优化

如何做好搜索

原创 2023-12-28 11:05:19 119 阅读

elasticsearch在执行完forcemerge 后查询性能可能更差了，为何？

通常我们认为一个 LSM 架构的系统，其文件数量 merge 到更少总会带来查询性能的提升，但Elasticsearch 和 lucene 确实有他的复杂之处，最近遇到一个案例，当索引 forcemerge 为 1 之后其查询延迟和查询 QPS都降低了，主要原因是， forcemerge 之后，查询语句构建 query cache的代价更大。题外话：在 query cache 的

force

段合并优化

查询语句

Elastic

子查询

原创 2023-12-28 11:03:13 135 阅读

高级调优：查找并修复 Elasticsearch 慢查询

Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的数据查询方法。但是，您是否遇到过查询速度

运维

elasticsearch

es 慢查询调优

搜索

Elastic

转载 2023-12-28 11:02:45 233 阅读

windows下使用logstash同步跨网络集群的数据

我们在开发环境过程中，可能会遇到这样的场景。我们可以通过VPN访问远端的机房。有可能还要跨机房访问

windows

logstash使用

跨网络同步es集群之间的数据

Elastic

elasticsearch

原创 2023-12-28 11:02:22 122 阅读

ES集群G1回收器，堆空间无法被回收问题

ES堆空间不足的问题，困扰了我有两年的时间。dump堆去分析，也未能分析出来，堆到底是被什么占用了。我把堆空间

java

jvm

算法

堆空间回收不掉

es堆空间占用高问题

原创精选 2023-12-28 11:02:02 329 阅读

ES java client 搜索报错 entity content is too long[xxx1] for the configured buffer limit [xxx2]

应用同事反馈，在使用es的滚动导出的时候，一共有5567条数据，但是实际上只拿到4567条数据，并且打断点，最后一次是获取到了452]

elasticsearch

搜索引擎

java client报错

解决方案

数据

原创 2023-12-22 21:05:41 1058 阅读

ES 如何将国际标准时间格式进行格式化与调整时区

需求，日志收集的时候，时间格式是国际标准时间格式。形如yyyy-MM-dd'T'HH:mm:ss.SSS。（2023-12-05T02:45:50.282Z）这个时区也不对，

elasticsearch

大数据

搜索引擎

es修正数据的时区

es pipeline

原创 2023-12-21 14:50:46 247 阅读

期待一下elasticsearch还未发布的8.12版本，由lucene底层带来的大幅度提升

现在是北京时间23年12月10日。当前es最新版本还是es8.11版本。我们可以期待一下不久的将来，es的8.12版本看到大幅度的检索性能提升。

elasticsearch

大数据

搜索引擎

ES性能提升

es向量检索性能提升

原创 2023-12-21 14:50:36 222 阅读

为什么要用向量检索

之前写过一篇文章，是我个人到目前阶段的认知，所做的判断。我个人是做万亿级数据的搜索优化工作的。一直在

自然语言处理

人工智能

向量检索

向量检索的好处

机器学习为向量检索赋能

原创 2023-12-21 14:50:23 244 阅读

关于对向量检索研究的一些学习资料整理什么是向量数据库什么是向量嵌入什么是大语言模型（LLM）什么是语义搜索向量搜索的优势

这里整理了一些我掌握和学习过的向量检索相关的文档。对向量检索，语义检索感兴趣的同学们，可以进来开看看，有任何问题都可以探讨。

深度学习

向量检索

向量检索学习资料

搜索

数据

原创精选 2023-12-21 14:49:27 507 阅读

向量做语义检索，效果测试

语义检索的效果确实不错，特别是在非关键词命中的情况下。通过做数据的文本嵌入，然后用向量的做召回。虽然我搜索的是“中国的首都”，

es做语义检索

语义检索的优势

语义检索和全文检索对比

向量检索

搜索

原创 2023-12-21 14:48:51 329 阅读

ES-ELSER 如何在内网中离线导入ES官方的稀疏向量模型（国内网络环境下操作方法）

在线的方式，在国内下载也麻烦，下载速度也慢。对于一般的生产环境，基本上也是网络隔离的。我这里已经点击过下载了，这里需要一点时间下载。等待下载完成，再部署模型。这里其实是把准备好的模型，导入到集群中。ES官方训练了稀疏向量模型，用来支持语义检索。直接把链接放在浏览器上，就可以去下载。（我用官方提供的地

elasticsearch

ES稀疏向量模型导入集群

ELSER

机器学习

语义检索

原创 2023-12-20 09:20:35 242 阅读

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）

es自2020年的8.x版本以来，就提供了机器学习的能力。我们可以使用es官方提供的工具eland，将hugging face上的NLP模型，上传到es

elasticsearch

自然语言处理

大数据

huggingface NLP

Eland

原创精选 2023-12-20 09:20:31 1735 阅读

ES通过抽样agg聚合性能提升3-5倍

一直以来，es的agg聚合分析性能都比较差（对应sql的 group by）。特别是在超多数据中做聚合，在搜索的条件命中特别多结果

elasticsearch

agg聚合性能提升

性能提升

抽样性能提升对比

es聚合抽样方案

原创 2023-12-20 09:19:59 310 阅读

Elasticsearch SQL插件调研与问题整理

通过大量调研，普遍的方案，都是open Distro，但是版本停留在了7.10版本。最近在做一件事情，需要能够降低es的学习使用成本，给

elasticsearch

sql

es sql插件

sql2dsl插件问题

sql2dsl插件调研

原创 2023-12-20 09:19:32 144 阅读

CPU标高load标高；linux故障日志排查

一般情况下，服务器不太会出问题。但是遇到特别诡异的情况，多半是服务器本身的问题。遇到问题，我们不能一味的去排查应用，

linux

运维

服务器故障

CPU标高

服务器内存和CPU故障排查

原创 2023-12-20 09:19:23 396 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx6335c69633819的博客

量化在密集向量检索中的权衡：深入分析索引时间、查询效率与召回效果

ES 近一年新版本，关于knn的新功能与优化

Elasticsearch向量检索（KNN）千万级耗时长问题分析与优化方案

再仔细品品Elasticsearch的向量检索

python 如何使用 NLPchina 开源sql插件，提供代码

kibana 上dashbord 和discover 时间快 or 慢 8小时，处理方案

kibana配置 dashbord，做可视化展示

数据从A集群，使用logstash迁移到B集群，如何保持_Id一致

windows下logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null

如何在使用logstash导出的时候，包含索引名称和_id

ES慢查询分析——性能提升6 倍

如何做好chatFile？如何做RGA？

一个正则快速找到在ES中使用profile的时产生慢查询的分片

2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验

如何做搜索？如何做搜索优化？如何在搜索领域快速成长？

elasticsearch在执行完forcemerge 后查询性能可能更差了，为何？

高级调优：查找并修复 Elasticsearch 慢查询

windows下使用logstash同步跨网络集群的数据

ES集群G1回收器，堆空间无法被回收问题

ES java client 搜索报错 entity content is too long[xxx1] for the configured buffer limit [xxx2]

ES 如何将国际标准时间格式进行格式化与调整时区

期待一下elasticsearch还未发布的8.12版本，由lucene底层带来的大幅度提升

为什么要用向量检索

关于对向量检索研究的一些学习资料整理什么是向量数据库什么是向量嵌入什么是大语言模型（LLM）什么是语义搜索向量搜索的优势

向量做语义检索，效果测试

ES-ELSER 如何在内网中离线导入ES官方的稀疏向量模型（国内网络环境下操作方法）

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）

ES通过抽样agg聚合性能提升3-5倍

Elasticsearch SQL插件调研与问题整理

CPU标高load标高；linux故障日志排查

欢迎