打开/etc/security/limits.conf* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536第二个问题：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [26
转载
2024-05-03 23:29:16
169阅读
一、Query Cache
Query Cache也称为Filter Cache，顾名思义它的作用就是对一个查询中包含的过滤器执行结果进行缓存。
比如我们常用的term，terms，range过滤器都会在满足某种条件后被缓存，注意，这里的bool过滤器是不会被缓存的，但bool过滤器包含的子query clause会被缓存，我们可以用下面的命令来查询Query Cache
转载
2024-04-29 11:59:26
79阅读
业务背景一个历史es业务， index 只有一个sharding， 多达400G，不方便后期水平扩容，并且单节点经常有大查询，，单个索引的查询效率变得越来越慢。查询超时的情况。优化方向：计划按月份对索引进行拆分，并限制查询的时间范围，以减少查询时的数据量和聚合操作。业务特征，一个月之前的历史数据不会更新，拆分方案：1、历史数据每个月拆分一个索引，根据机器数量拆分sharding 数量。 控制索引大
转载
2024-06-27 09:04:22
430阅读
本文讲述，如何理解Elasticsearch的分片、副本和路由策略。 1、预备知识1）分片（shard）Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。&nbs
转载
2024-09-03 19:42:18
52阅读
vps的内存为512M,安装好nginx,php等启动起来,mysql死活启动不起来看了日志只看到对应pid被结束了,后跟踪看发现是内存不足被killed;
调整my.cnf 参数,重新配置（系统默认配置太高直接占用400M内存,小玩家玩不起呢）即可
performance_schema_max_table_instances=200
table_definition_cache=200
ta
转载
2024-03-05 12:10:13
65阅读
写一致性原理以及quorum机制（1）consistency，one（primary shard），all（all shard），quorum（default）我们在发送任何一个增删改操作的时候，比如说put /index/type/id，都可以带上一个consistency参数，指明我们想要的写一致性是什么？put /index/type/id?consistency=quorumone：要求我
转载
2024-05-22 21:20:45
129阅读
介绍索引recovery是指索引数据恢复，包含以下几种类型EMPTY_STORE, 索引没有数据，一般是新建索引的情况，不用恢复数据EXISTING_STORE, 从本地存储的数据恢复，例如集群重启primary shard进行数据恢复PEER, 从另一个节点恢复数据，例如集群重启replica从primary恢复数据；primary进行relocate到另一个节点SNAPSHOT, 从SNAPS
转载
2024-07-08 21:13:15
111阅读
ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。（本文主要介绍）索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第
转载
2024-04-02 13:11:53
96阅读
前端开发者往往不太关注页面所占用的内存，因为前端内存的分配与回收基本是依靠系统自动完成的，这个过程对于开发者是无感的。但内存优化的作用也同样重要，一个好的网站，内存的优化也是极致的，比如淘宝的首页，只有 10M 大小。特别是随着前端项目的逐渐复杂，内存的占用也逐渐攀升，曾经遇到过页面的内存超 300M，同时打开几个窗口，就造成了页面崩溃。内存泄露只是冰山一角之前有这种误解：认为只有内存泄露的时候，
elastic adj.有弹力的;可伸缩的;灵活的 restful adj.平静的，悠闲的，让人得到休息的;安生RESTful API为了建立 Elasticsearch ，第一步是确保正确安装Java 环境。我就默认安装了，因为我确实安装了，jdk 1.8版本的。这个安装完全不需要配置，只需要把下载的东西解压，直接可以用。我提供某度云盘，具体如下。链接：http://pan.baidu.com/
转载
2024-06-02 09:22:51
52阅读
如果你的项目中支持高并发，或者是测试过比较多的并发连接。那么相信你一定遇到过“Too many open files”这个错误。这个错误的出现其实是正常的，因为每打开一个文件（包括socket），都需要消耗一定的内存资源。为了避免个别进程不受控制地打开了过多的文件而让整个服务器崩溃，Linux 对打开的文件描述符数量有限制。但是解决这个错误“奇葩”的地方在于，竟然需要修改三个参数：fs.nr_op
转载
2024-04-25 05:20:07
296阅读
近期发现线上es服务内存告警，使用率超过90%，需要处理，下面记录下处理流程。1. 查看进程内存占用情况使用top命名，可以显示进程列表， 然后键盘按下M键，可以按照内存降序，结果如下： elastic+就是es的进程。2.查看es配置的内存大小使用 ps -ef | grep java (或者按照上面的进程号找)，显示java进程，如下是es进程： 可以看到es进程启动时设置的java堆内存为-
转载
2024-02-08 06:10:43
642阅读
import os
from os.path import join, getsize
def get_dir_size(dir, suffix_filter=None):
size = 0L
if not suffix_filter:
for root, dirs, files in os.walk(dir):
size += su
原创
2023-05-31 11:27:49
122阅读
一、硬件选择Elasticsearch 的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中具体的路径可在 ES 的配置文件../config/elasticsearch.yml 中配置，如下： #-----------------------------------
Paths
------------------------------------
#
# Path to dire
转载
2024-04-03 11:12:39
432阅读
对于提供全文检索的工具来说，索引时一个关键的过程——只有通过索引操作，才能对数据进行分析存储、创建倒排索引，从而让使用者查询到相关的信息。 索引操作 最简单的用法就是指定索引操作的index索引、type类型、ID（需要区分动词的索引和名次的索引），参考下面的例子： $ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{
"u
转载
2024-06-04 22:25:19
230阅读
目录1.ElasticSearch简介2.ElasticSearch与MySQL区别3.ElasticSearch核心概念介绍3.1索引（Index）3.1.1添加索引3.1.2查询索引3.1.3删除索引3.2域（Field）3.2.1数据类型3.2.2添加映射3.3文档（Document）3.3.1添加文档3.3.2查询文档3.3.3修改文档3.3.4删除文档3.4倒排索引4.Springboo
转载
2024-08-28 08:53:33
228阅读
目录一、简介 1、Lucene与倒排索引二、基本概念三、ES与关系型数据库四、分片(Shard)和副本(Replica)五、注意事项1、分片数量不可以实时修改2、副本最大值+1 <= 集群节点数量 <= 分片数量一、简介 分布式搜索、存储和分析引擎。所以不要只是将ES认为是一个搜索引擎。但是我们主要学习和使用的都是搜索和分析功能。ES实现搜索主要使用的是倒排索引。1
转载
2024-03-16 07:17:56
61阅读
当我们开始使用 Elasticsearch 时，我们必须理解其中的一些重要的概念。这些概念的理解对于以后我们使用 Elastic Stack 是非常重要的。在今天的这篇文章里，我们先来介绍一下在 Elastic 栈中最重要的一些概念。
Elasticsearch 中的一些中重要概念 首先，我们来看下一下如下的这个图：更简单地描述各个组件之间的关系：我们从上面可以看出来：一个 cluster
转载
2024-06-11 22:04:38
133阅读
一、管理Elasticsearch索引和文档在es中，索引和文档是REST接口操作的最基本资源，所以对索引和文档的管理也是我们必须要知道的。索引一般是以索引名称出现在REST请求操作的资源路径上，而文档是以文档ID为标识出现在资源路径上。映射类型_doc也可以认为是一种资源，但在es7中废除了映射类型，所以可以_doc也视为一种接口。1、索引的管理在前面的学习中我们已经知道，GET用来获取资源，P
转载
2024-03-08 10:07:10
360阅读
ES核心概念ES是面向文档,下面表格是和关系型数据库的对比,一切都是JSON关系数据库(Mysql)ES数据库(database)索引(indices) 和数据库一样表(tables)types 慢慢会被弃用 7.0已经过时 8.0会彻底废弃行(rows)documents (数据)文档字段(columns)fieldsES中可以包含多个索引(数据库),每个索引中可以包含多个类型(表),每个类型下
转载
2024-08-01 12:55:20
55阅读
