前文我们介绍了Logstash来做数据收集和过滤。本文我们主要介绍ELKF中的ElasticSearch，它主要是用来做日志持久化，我们通过Kibana来获取ElasticSearch中的不同索引数据进行分析和处理。一、ElasticSearch简介Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式
一、搜索API 1. 搜索API 端点地址从索引tweet里面搜索字段user为kimchy的记录GET /twitter/_search?q=user:kimchy从索引tweet,user里面搜索字段user为kimchy的记录GET /twitter/tweet,user/_search?q=user:kimchy
GET /kimchy,elasticsearch/_search
Elasticsearch 中文搜索时遇到几个问题:当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度?搜索“RMB”时只会匹配到包含“RMB”关键词的内容，实际上，“RMB
转载
2024-03-25 08:56:21
101阅读
[size=medium][i]es在查询时，可以指定搜索类型为QUERY_THEN_FETCH,QUERY_AND_FEATCH,DFS_QUERY_THEN_FEATCH和DFS_QUERY_AND_FEATCH。那么这4种搜索类型有什么区别？[/i][/size]
[b]分布式搜索背景介绍：[/b]
ES天生就是为分布式而生，但分布式有分布式的缺
转载
2024-03-24 09:41:13
39阅读
##分布式搜索背景介绍： ES天生就是为分布式而生，但分布式有分布式的缺点。比如要搜索某个单词，但是数据却分别在5个分片（Shard)上面，这5个分片可能在5台主机上面。因为全文搜索天生就要排序（按照匹配度进行排名）,但数据却在5个分片上，如何得到最后正确的排序呢？ES是这样做的，大概分两步。step1、ES客户端会将这个搜索词同时向5个分片发起搜索请求，这叫Scatter；step2
转载
2024-04-03 14:05:56
61阅读
es种有两种查询模式，一种是像传递URL参数一样去传递查询语句，被称为简单搜索或查询字符串(query string)搜索，比如GET /megacorp/employee/_search //查询全部员工
GET /megacorp/employee/_search?q=last_name:Smith //查询last_name为Smith的员工另外一种是通过DSL语句来进行查询，被称为DSL查
转载
2024-04-22 10:49:48
75阅读
一、概念： 查询建议主要包括两部分： 1、拼写检查纠错建议： 2、搜索词自动补全：二、分类： Elasticsearch提供了4种查询建议： 1、Term（词元建议）：
转载
2024-03-24 11:12:27
105阅读
一、搜索API 1. 搜索API 端点地址从索引tweet里面搜索字段user为kimchy的记录GET /twitter/_search?q=user:kimchy从索引tweet,user里面搜索字段user为kimchy的记录GET /twitter/tweet,user/_search?q=user:kimchyGET /kimchy,elasticsearch/_search?
文章目录一、索引操作1.1 创建索引1.2 删除索引1.3 关闭索引1.4 打开索引1.5 索引别名二、映射操作2.1 查看映射2.2 扩展映射三、文档操作3.1 单条写入文档3.2 批量写入文档3.3 更新单条文档3.4 批量更新文档3.5 根据条件更新文档3.6 删除单条文档3.7 批量删除文档3.8 根据条件删除文档四、基础搜索操作4.1 搜索辅助功能4.1.1 指定返回字段4.1.2 结
转载
2024-07-10 17:38:51
143阅读
1、term和termsterm和terms等查询，不会对查询对字段进行分词处理，适合于date、num、id等确切数据进行搜索如果需要查询keywords，则查询等keywords必须是查询字段中可以分出来的词，如果不是，则无法查询到数据。例如：age字段包含的值为80后、90后。使用term查询，{"term":{"age":"80后"}} 这样是无法查询到age是"80后"的数据的，因为te
转载
2024-04-14 23:40:37
174阅读
前言现在来重新建立索引，然后实现搜索提示。建立索引并重新抽取数据PUT /articles2
{
"mappings" : {
"doc" : {
"properties" : {
"content" : {
"type" : "text",
"fields" : {
转载
2024-03-24 20:01:33
186阅读
一.简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎（与Solr类似），基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。二.相关概念 cluster 代表一个集群
转载
2024-06-25 12:36:04
82阅读
开始学习之前，先了解一下，具体是什么，能干什么，有个大概了解。方便后面的学习。ElasticSearch能做以下功能：1. 全文搜索功能2. 分布式文件实时文件存储，并将每一个字段都编入索引，使其可以被搜索。3.
转载
2024-04-04 19:51:23
96阅读
0.引言本文罗列介绍了ES提供的公共API，重点围绕数据检索主题相关API进行说明总结。1.概述Elasticsearch提供全功能的RESTful API。以基于HTTP协议传输交换JSON数据的方式，向用户提供访问服务。具体的访问方式可按照参数的提交方法区分为以下两种：通过URI参数提交，比如：curl 'localhost:9200/bank/_search?q=*&pretty通过
转载
2024-08-04 13:24:16
60阅读
IVF-PQ 基于量化的向量检索算法IVF-PQ 基于量化的向量检索算法 文章目录IVF-PQ 基于量化的向量检索算法一、PQ是什么？Faiss是什么Produce Quantizer（乘积量化）Clustering：AssignPQ-search：二、IVF-PQ是什么？总结 hnsw、kd树等检索算法对底库中数据进行检索。kd树不适合维度高的数据，哈希（LSH）使用中小数据集，目前比较通用的
转载
2024-10-14 07:43:53
147阅读
分布式搜索背景介绍： ES是一个分布式搜索引擎，分布式有分布式的缺点。比如要搜索某个单词，但是数据却分别在5个分片（Shard)上面，这5个分片可能在5台主机上面。因为全文搜索天生就要排序（按照匹配度进行排名）,但数据却在5个分片上，如何得到最后正确的排序呢？ES是这样做的，大概分两步。第一步： ES客户端会将这个搜索词同时向5个分片发起搜索请求，这叫Scatter, 第二部： 这5个分片基于本S
转载
2023-10-19 21:35:56
66阅读
match_all query#匹配所有文档，得分全为1.
curl -XGET 'localhost:9200/_search?pretty' -H 'Content-Type: application/json' -d'
{
"query": {
"match_all": {}
}
}
' boost改变得分curl -XGET 'localhost:
转载
2024-01-05 22:45:56
51阅读
ElasticSearch分布式搜索原理解析1. 什么是ElasticSearch?我们先来看一下百度百科的解释：Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。我们来总结一下：Elast
转载
2024-03-15 05:31:32
130阅读
在 Elasticsearch 中，Join 可以让我们创建 parent/child 关系。Elasticsearch 不是一个 RDMS。通常 join 数据类型尽量不要使用，除非不得已。那么 Elasticsearch 为什么需要 Join 数据类型呢？ 在 Elasticsearch 中，更新一个 object 需要 root object 一个完整的 reindex：即使是一个
转载
2024-02-21 10:48:13
57阅读
1. elasticsearch 语法汇总
2.
3. 使用 es 已有段时间 今天 有时间 就把最近使用用到的知识点 记录下来，以备后续使用
4.
5. es 安装 和插件配置 等知识 这里就不在 累述
6.
7. 1 基本命令 使用
8.
9. 基于 curl 使用 命令
10.
11. 修改 副本信息 因为 index 一
转载
2024-06-21 05:48:20
66阅读
