一、前言 这篇主要记录在导入数据时候踩到的坑，这些坑总共花费我小一天的时间，记录一下。二、正文1、logstash显示在导入数据，ES也成功新建了索引，但是没数据 最开始遇到的是这个坑，logstash的输入框就僵住了，博主以为在导入数据呢，等了半天，ES竟然
转载
2024-04-02 15:56:18
96阅读
一、问题现象随着ES的密集使用，线上环境，不同应用最近几天陆续有报java.io.IOException: Connection reset by peer异常，感觉不太正常。直接影响就是用户查询或者变更ES数据失败。java.io.IOException: Connection reset by peer
at org.elasticsearch.client.RestClient.extra
转载
2024-02-19 13:52:05
1565阅读
犯罪现场~~es: 三节点，配置相同
内存: 248G
CPU: 没注意看
磁盘: 2T
data: 380G左右
indices: 近9800条在下才疏学浅，目前跟着大佬学习，这个问题还没解决，大佬猜测是indices数量过高，将es打爆了，由于机器是客户的，indices的删减需要客户方的同意，暂时不确定是否是这个原因导致的，后期成功处理恢复es集群后，再来更新（为什么不看日志？因为日志太大了
转载
2024-03-26 15:15:00
66阅读
1.概述转载源码解读-ES异常：Connection reset by peer相似问题：【Elasticsearch】解决Elasticsearch HTTP方式查询报SocketTimeoutException的问题 Connection reset by peer2.问题描述使用 Spring boot 服务使用 ES RestHighLevelClient 连接 ES 运行一段时间就会出现
转载
2024-02-27 10:24:24
308阅读
ES老集群用的2.4.1版本，跑的比较好就一直没动，最近看资料ES5.X已经稳定，并且性能有较大提升，心里就发痒了，但由于业务要保持高可用的属性，就得想一个平滑升级的方案，最后想到了多实例过度的办法，5.X版本网上介绍配置变化较大，也做好了踩坑准备，确定好要升级后，立刻动手。一、对应升级改造方案 使用端口9220和9330 安装并配置好新的ES5.2.1实例——
转载
2024-03-29 19:12:25
397阅读
document 路由 （1）document路由到shard上是什么意思？ （2）路由算法：shard = hash(routing) % number_of_primary_shards
举个例子，一个index有3个primary shard，P0，P1，P2
每次增删改查一个document的时候，都会带过来一个routing num
Elasticsearch 5.1.1升级6.7.2小结（2）接上文：Elasticsearch 5.1.1升级6.7.2小结（1）2 处理升级过程中的各种问题2.1 更新配置文件接上文启动失败，仔细检视安装过程，安装过程中的几个warning引起了我的注意：Updating / installing...
1:elasticsearch-0:6.7.2-1
warning
转载
2024-10-05 14:14:11
52阅读
公司一直在用Amazon AWS的ElasticSearch service, 最近因为AWS提供从5.6到6.5的升级，就在上周日尝试着升级了一下。结果升级之后产生了一堆问题，一边在AWS support开ticket一边自己研究怎么修复。最终幸运的修复了一些，下面介绍一下问题和心得 1. ES 6.0之后不再支持string type：这里的type指的是index和indice里面
转载
2024-07-16 11:09:27
145阅读
文章目录搜索和查询查询的上下文Query DSL(Domain Specific Language)1 查询上下文2 相关度评分：_score3 元数据：_source4 Query String查询所有：带参数：分页：精准匹配 exact value_all搜索 相当于在所有有索引的字段中检索5 全文检索-Fulltext querymatch：匹配包含某个term的子句match_all：匹
转载
2024-04-17 11:52:54
158阅读
背景公司的测试环境4核8G内存，安装部署ELK技术栈elastic search6.2.4 分配4G内存空间kibana 6.2.4logstash 6.2.4并集成了xpack发生性能不匹配问题结果在对一个表（数据大约80000条）进行全表建索引的时候：（全表建索引的逻辑是logstash使用logstash-jdbc-input从mysql表中根据jdbc_page_size来更新相应大小行数
转载
2024-05-21 20:11:07
329阅读
导读 最新公司ES集群老出现连接关闭，进而导致查询|写入ES时报错，报错日志显示如下[2m2022-10-23 14:13:10.088[0;39m - [31mERROR[0;39m - [35m[NONE][NONE][NONE][0][1584065372948234240][0;39m - [2m[XNIO-1 task-3][0;39m - [36mcom.mall.search.se
转载
2024-02-28 11:20:24
143阅读
1、倒排索引ElasticSearch比传统的数据库查询更快，因为ElasticSearch是基于倒排索引，但是传统数据库是基于B树/B+树。倒排索引：是指数据存储时，进行分词建立term索引库。倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(invert
转载
2024-05-10 22:37:09
56阅读
### 错误现象：
es 服务启动后日志报错如下：
```
2017/12/23 下午1:45:05[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
```
```
2017/12/23 下午1:45:05[2017-12-23T05:41:4
原创
2017-12-25 10:27:27
2508阅读
当为使用生产许可证运行的集群启用 Elasticsearch 安全性时，必须使用 TLS/SSL 进行传输通信，并且必须正确设置。此外，一旦启用安全性，与 Elasticsearch 集群的所有通信都必须经过身份验证，包括来自 Kibana 和/或应用程序服务器的通信。Kibana 和/或应用程序服务器向 Elasticsearch 集群进行身份验证的最简单方法是在其配置文件或源代码中嵌入用户名和
转载
2024-07-15 06:02:46
1148阅读
qsort()
函数: sort() 函数表：函数名功能描述sort对给定区间所有元素进行排序stable_sort对给定区间所有元素进行稳定排序partial_sort对给定区间所有元素部分排序partial_sort_copy对给定区间复制并排序nth_element找出给定区间的某个位置对应的元素is_sorted判断一个区间是否已经排好序par
Message from syslogd@localhost at Jan 2 22:01:37 ... kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 27s! [kworker/u256:1:90397]ERROR: Can't find a suitable configuration file in this directory or any parent. Are you in the righ
原创
2021-09-04 12:56:52
1031阅读
“IIS配置401错误”完美解决方案 1、错误号401.1症状：HTTP 错误 401.1 - 未经授权：访问由于凭据无效被拒绝。分析：由于用户匿名访问使用的账号(默认是IUSR_机器名)被禁用，或者没有权限访问计算机，将造成用户无法访问。解决方案：（1）查看IIS管理器中站点安全设置的匿名帐户是否被禁用，如果是，请尝试用以下办法启用：控制面板->管理工具->计算机管理-&g
转载
2024-09-22 20:03:41
59阅读
首先安装docker安装命令如下：安装curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun也可以使用国内 daocloud 一键安装命令：curl -sSL https://get.daocloud.io/docker | sh安装成功后，输入docker -v命令即可Docker version 20.10.6, b
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene 基础之上。Elasticsearch 也是使用 Java 编写的，它的目的是使全文检索变得简单，通过隐藏 Lucene 的复杂性，取而代之的是提供一套简单一致的 RESTful API。ES 在建立索引的时候，一方面可以建立倒排索引供搜索用，另一方面可以建立 Doc Values，供排序、聚合、
转载
2024-09-22 15:00:22
59阅读
下载ElasticsearchElasticserach官网 不用从网盘中找因为我感觉官网的下载速度其实还是可以的熟悉目录跨域问题 在elasticserch.yaml配置文件中添加打开bin目录下elasticsearch.bat等待运行 运行完毕之后这是一个公共地址访问这个地址遇到的问题1：jkd版本可能与当前本版冲突，导致启动失败从而无法访问到这个端口 解决办法：重新下载一个低版本的El因为
