# What is frozen index？
冻结索引的每个shard在搜索时，ES会建一个临时数据结构，搜索完后立马丢掉。由于ES不维持这些临时数据结构在内存，冻结索引比正常索引消耗更少的堆。冻结索引对disk-to-heap要求较高。
# Why use frozen index？
ES索引内容在内存中放了一些数据结构让你高效搜索、索引数据。如果有许多索引，那么这些数据存放的内存会增大到一个
原创
2021-07-12 14:57:39
3445阅读
一.基本概念1.elasticsearch集群：elasticsearch集群是由一个或者多个节点组成的集合。每一个集群都有一个唯一的名称。默认是elasticsearch，我们可以自己设置的cluster_name的值，cluster_name的值非常重要，一个节点就是通过集群的名称加入集群的。然后，每一个节点都有自己的名称。节点是可以存储数据，参与集群索引数据，以及搜索数据的独立服务。2.索引
转载
2024-02-13 21:26:43
80阅读
如果logstash需要读取数据库，首先需要下载对应的Mysql数据库驱动包mysql-connector-java-5.1.46.jar可以查看mysql-connector-java驱动包与mysql数据库版本的对应关系根据实际使用的数据库版本找到自己所需要的Mysql数据库驱动包，maven仓库下载对应的驱动包地址https://repo1.maven.org/maven2/mysql/my
转载
2024-07-03 04:34:54
70阅读
搜索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。 有2个分片和3份副本的索引结构如下所示： 一个完整的索引被切分为0和1两个独
转载
2024-05-07 15:07:12
53阅读
1.基本概念类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。 类型(Type)类型相当于“表”。 文档(Document)基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有
转载
2024-02-28 21:19:09
74阅读
ECT的核心是一个16位自由运行计数器(TCNT),所有输入捕捉和输出比较功能的计时信息都来源于TCNT,当定时器系统启用时,通过设置TSCR1的TEN位,计数器从$0000开始,每经过一个模块时钟加1,直到加到$FFFF,然后自动溢出为$0000并继续计数.16位自由记数器的当前值保存在两个8位寄存器中,高的存在TCNTH,低的存在TCNTL中.综合这两个寄存器就形成TCNT.定义TCNT的 话
转载
2024-04-09 14:37:09
29阅读
一般情况下，索引都是用于缓解死锁的。但是，索引本身也会引发死锁。其本质原因是：索引也是一种资源，既然是资源，它就会被争抢。而死锁的本质就是多个事务之间资源的争抢和彼此等待。在解释这一切之前，看理解键查找。 键查找先执行下面的代码，插入一些测试数据 CREATE TABLE Person
(
id int identity,
name varchar(32),
regdate varch
转载
2024-03-04 09:48:14
23阅读
进化策略与遗传算法进化策略 (Evolution Strategy)是另一种使用进化理论的优化模式，与遗传算法略有不同。 用一句话概括ES: 在程序里生宝宝, 杀死不乖的宝宝, 让乖宝宝继续生宝宝. ES和GA的不同有以下几点：选好父母进行繁殖 (GA); 先繁殖, 选好的孩子 (ES)通常用二进制编码 DNA (GA); 通常 DNA 就是实数, 比如 1.221 (ES)通过随机让 1 变成
在业务系统中，字符串类型的数据，一般被用作精确查询或模糊查询。当Elasticsearch被用作大数据量存储中心时，尤其是从Mysql迁移数据进来的情况下，我们很多场景下其实无需对字符串分词，也就是说字符串存储不使用es中的text，我们可以设置属性的类型为keyword。但是，如果数据结构中的字符串非常多，有没有一种方式，可以使字符串属性自动用keyword方式存储呢？这时候我们可以使用索引动态
转载
2024-06-18 21:37:29
27阅读
内容详细1 ElasticSearch之-ElasticSearch-head# 本质都是c s 架构的软件
# es:web服务端封装了一些restful接口 b s
-docker
# mysql，redis---》自定制的 tcp 协议 b s
转载
2024-05-18 00:35:40
64阅读
Index（Index）索引就像关系数据库中的“数据库”。它有一个定义多种类型的映射。（index）索引是一个逻辑命名空间，它映射到一个或多个主分片，并且可以有零个或多个副本分片。Index配置Index 的配置可以参考官方文档
这里只是说明比较重要的两个参数。“number_of_shards”: 分片数量“number_of_replicas”: 副本数量分片ES里面的索引可能存储大量数据，这
转载
2023-10-31 14:33:03
79阅读
es数据存储简单介绍 1. 概念解释Index：索引，它是单个数据库的同义词。 Type：索引类型，它是单个数据表的同义词。 Document：文档，它是单条数据记录的同义词。 mapping：映射，相当于数据库的表结构。理论上一个Index可以包含多个Type，但是在实际应用中一般一个Index只包含一个Type，若包含多个Type，容易造成数据干扰等问题，有百害而无一利。 一般情况下我们是先往
转载
2024-03-17 10:46:18
129阅读
ES 如何才能让数据更快的被检索使用。一句话概括了 Lucene 的设计思路就是"开新文件"。从另一个方面看，开新文件也会给服务器带来负载压力。因为默认每 1 秒，都会有一个新文件产生，每个文件都需要有文件句柄，内存，CPU 使用等各种资源。一天有 86400 秒，设想一下，每次请求要扫描一遍 86400 个文件，这个响应性能绝对好不了！ 为了解决这个问题，ES 会不断在后台运行任务，主动将
转载
2024-02-28 10:10:13
53阅读
一、收缩索引1、介绍在大型的集群中，索引的分片也往往比较多，但是随着时间的推移，有一些索引慢慢的就会由“热”变“冷”，到最终基本上不再使用；还有一些索引，它本身的索引文档的数据量并不多，但是却还是使用了不少的分片。如果不对这些索引进行管理，这些索引的分片信息就会一直被集群所维护着，集群主节点维护分片的压力就会越来越大，如果是涉及到集群恢复，也会耗费更多的时间。Elasticsearch本身提供了集
倒排索引核心原理
doc1：I really liked my small dogs, and I think my mom also liked them.
doc2：He never liked any dogs, so I hope that my mom will not expect me to liked him.
分词，初步的倒排索引的建立
转载
2024-05-28 17:32:13
37阅读
1 基本概念简介 所谓正排索引很简单，就是和我们人脑的记忆更加贴合的一种数据结构。 比如记忆古诗，当别人问我们《静夜思》这首诗的时候，我们很容易就能够背出完整的诗句。但是如果有人问我们哪一首诗里面包含有霜这个字的时候，我们就很难想到《静夜思》这首诗了。因为我们的大脑在记忆古诗的时候是建立了一个正排索引。 静夜思→窗前明月光，疑是地上霜，举头望明月，低头思故乡。 而倒排索引是与这
转载
2024-06-01 10:26:52
64阅读
环境
Elasticsearch 8.1
Kibana 8.1
MacOS 10.14.6
简介首先我们还是先了解一下，什么是字段别名？大家可能听说过索引别名，通过索引的别名可以轻松的切换所需的数据来源与哪一个索引，那么什么是字段别名呢？所谓字段别名，就是索引mapping定义时的备用字段，通过字段别名可以替换搜索请求中的目标字段，字段别名
转载
2024-03-28 10:12:19
47阅读
一. Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引。或者它 可能有一百个数据节点、三个单独的主节点，以及一小打客户端节点——这些共同操作一千个索引（以及上万个分片）。但是不管集群扩展到多大规模，你都会想要一个快速获取集群状态的途径。Cluster Health API 充当的就是这个角色。你可以把它想象成是在一万英尺的高度鸟瞰
转载
2024-06-19 18:48:09
82阅读
引言思考 在这篇博客中，我们谈一下es的映射，es中为什么要存在映射？以及它起到的作用，需不需要重视它的应用，与其它类似产品有没有这种概念？这些都是我们在学习一个新概念时应有的思路，下面我先说一下自己的理解。 mapping感觉是处理数
转载
2024-02-28 11:03:00
43阅读
文章目录1、别名（alias）是什么1.1 官方定义1.2 通俗解释2、别名（alias）有啥用2.1 类比域名的作用2.1.1 比 IP 好记2.1.2 可以绑定多个IP或者应用2.1.3 DNS负载均衡2.2 别名的作用2.2.1 隐藏底层索引2.2.2 封装过滤器3、别名（alias）哪里用：使用场景3.1 滚动索引3.2 索引模板/组件模板3.3 数据流4、别名（alias）怎么用4.1
转载
2024-03-28 08:52:30
97阅读
