# What is frozen index？
冻结索引的每个shard在搜索时，ES会建一个临时数据结构，搜索完后立马丢掉。由于ES不维持这些临时数据结构在内存，冻结索引比正常索引消耗更少的堆。冻结索引对disk-to-heap要求较高。
# Why use frozen index？
ES索引内容在内存中放了一些数据结构让你高效搜索、索引数据。如果有许多索引，那么这些数据存放的内存会增大到一个
原创
2021-07-12 14:57:39
3447阅读
一.基本概念1.elasticsearch集群：elasticsearch集群是由一个或者多个节点组成的集合。每一个集群都有一个唯一的名称。默认是elasticsearch，我们可以自己设置的cluster_name的值，cluster_name的值非常重要，一个节点就是通过集群的名称加入集群的。然后，每一个节点都有自己的名称。节点是可以存储数据，参与集群索引数据，以及搜索数据的独立服务。2.索引
转载
2024-02-13 21:26:43
80阅读
如果logstash需要读取数据库，首先需要下载对应的Mysql数据库驱动包mysql-connector-java-5.1.46.jar可以查看mysql-connector-java驱动包与mysql数据库版本的对应关系根据实际使用的数据库版本找到自己所需要的Mysql数据库驱动包，maven仓库下载对应的驱动包地址https://repo1.maven.org/maven2/mysql/my
转载
2024-07-03 04:34:54
70阅读
搜索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。 有2个分片和3份副本的索引结构如下所示： 一个完整的索引被切分为0和1两个独
转载
2024-05-07 15:07:12
53阅读
1.基本概念类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。 类型(Type)类型相当于“表”。 文档(Document)基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有
转载
2024-02-28 21:19:09
74阅读
ECT的核心是一个16位自由运行计数器(TCNT),所有输入捕捉和输出比较功能的计时信息都来源于TCNT,当定时器系统启用时,通过设置TSCR1的TEN位,计数器从$0000开始,每经过一个模块时钟加1,直到加到$FFFF,然后自动溢出为$0000并继续计数.16位自由记数器的当前值保存在两个8位寄存器中,高的存在TCNTH,低的存在TCNTL中.综合这两个寄存器就形成TCNT.定义TCNT的 话
转载
2024-04-09 14:37:09
29阅读
一般情况下，索引都是用于缓解死锁的。但是，索引本身也会引发死锁。其本质原因是：索引也是一种资源，既然是资源，它就会被争抢。而死锁的本质就是多个事务之间资源的争抢和彼此等待。在解释这一切之前，看理解键查找。 键查找先执行下面的代码，插入一些测试数据 CREATE TABLE Person
(
id int identity,
name varchar(32),
regdate varch
转载
2024-03-04 09:48:14
23阅读
进化策略与遗传算法进化策略 (Evolution Strategy)是另一种使用进化理论的优化模式，与遗传算法略有不同。 用一句话概括ES: 在程序里生宝宝, 杀死不乖的宝宝, 让乖宝宝继续生宝宝. ES和GA的不同有以下几点：选好父母进行繁殖 (GA); 先繁殖, 选好的孩子 (ES)通常用二进制编码 DNA (GA); 通常 DNA 就是实数, 比如 1.221 (ES)通过随机让 1 变成
文章目录一、put、post、delete、get方法描述二、数据模型及核心概念三、索引的基本操作1.创建一个索引2.查看当前所有索引3.修改（更新）文档4.删除5.添加数据6.批量操作数据 bulk7.批量读取文档8.搜索数据四、分页1.浅分页（from+size）2.深分页 一、put、post、delete、get方法描述method描述PUT创建POST创建、修改DELETE删除GET查
转载
2024-03-19 21:15:29
128阅读
描述：主要使用ES对大量数据进行关联分析，由于各种原因，使用ES进行关联分析时(即使用ES的agg)，需要重新组织下数据，形成父子文档，如分析个人数据，需要将个人数据（网购订单、通话记录、话费记录、房产、失信执行人等等、、、）整理成树形结构存入ES，在开发过程中遇到了各种坑，在这里总结下，希望能帮到大家，文末会附上java代码的工具类，覆盖多种情况，满足学习和开发。前提：java6+、Elasti
转载
2024-02-27 07:51:54
3阅读
文章目录1：mapping详解1：setting部分1.1：慢日志2：mappings部分2.1：字段的公共属性1：_all属性2：_source2.2：properties：字段属性及类型定义1：字段属性详解2：字段类型type3：分词器2：查看mapping3：更新mapping2：template动态模板2.1：template解释2.2：操作2.3：demo示例3：字段属性总结1：排序聚
转载
2024-03-15 21:00:44
74阅读
elasticsearch在新版本中逐渐弱化了类型的概念,现在elasticsearch主流数据结构如下index(索引)->type(类型-逐渐弱化,用处不大)->document(文档)-field(字段)在elasticsearch中index相当于mysql中的表,而文档则相当于表中的一行一行记录,字段那就不用说了自然是数据库中的列,这么说的话大家应该能够有一个比较清晰的认识了
转载
2024-03-04 09:49:02
27阅读
需求：原始索引中有2亿条数据，并且在线上运行，现在需要更具给部分数据添加一个标签(即新增一个字段，address)；困难：1).Elasticsearch不支持动态修改mapping。2).由于数据量很大，新建索引，并且进行数据迁移效率很慢数据情况：索引：test_jyong_old别名：test_jyong_alias数据量：2亿mapping:{
"test_jyong_old": {
转载
2024-04-01 06:26:13
91阅读
提起ElasticSearch，大家首先会联想到的往往是其特殊的索引机制，带来的快速查询性能优势。前面我们也对ElasticSearch的索引机制做了简单的介绍，今天的大数据开发分享，我们来讲讲ElasticSearch 索引设置的相关问题。 在使用ES时，我们常见的就是需要生成一个template来定义索引的设置，分词器，Mapping等。 Index设置index.refresh_
转载
2024-02-10 01:01:46
145阅读
多索引expand_wildcards 设置是否扩展通配符到closed的index中，open表示只在匹配并为open的index中查询，closed表示在匹配的所有的index中查询, 默认为closed。 值为open，close，none，all。open:表示只支持open类型的索引close:表示只支持关闭状态的索引none:表示不可用all:表示同时支持open和close索引a
转载
2024-03-22 09:54:59
105阅读
Elasticsearch基础使用介绍（数据类型，索引操作）环境准备数据类型基础数据类型keywordtext数值类型boolean日期类型（date）复杂数据类型数组类型对象类型地理位置类型多字段（子字段）数据类型动态映射索引增删查修改索引动态可修改部分静态不可修改部分索引重建索引别名 环境准备Elasticsearch 服务（单机或集群）Kibana 服务如果对ES不了解或没有上述环境，可以
转载
2024-07-30 13:22:15
69阅读
Elasticsearch索引拆分方案[TOC]一、概况项目中，由于Elasticsearch单个索引数据量大，索引中部分数据不常用，在搜索和写入文档时，效率较低。为了减小单个索引的数据量，提升搜索和文档写入效率，将大索引根据一定的规则拆分为小的索引。拆分索引的关键点在于建立索引，文档同步，多索引搜索。建立索引的关键问题是索引的设置以及字段的属性设置，最常见的问题是，某个字段我们希望Elastic
转载
2024-05-23 20:04:48
57阅读
内容详细1 ElasticSearch之-ElasticSearch-head# 本质都是c s 架构的软件
# es:web服务端封装了一些restful接口 b s
-docker
# mysql，redis---》自定制的 tcp 协议 b s
转载
2024-05-18 00:35:40
64阅读
ES 如何才能让数据更快的被检索使用。一句话概括了 Lucene 的设计思路就是"开新文件"。从另一个方面看，开新文件也会给服务器带来负载压力。因为默认每 1 秒，都会有一个新文件产生，每个文件都需要有文件句柄，内存，CPU 使用等各种资源。一天有 86400 秒，设想一下，每次请求要扫描一遍 86400 个文件，这个响应性能绝对好不了！ 为了解决这个问题，ES 会不断在后台运行任务，主动将
转载
2024-02-28 10:10:13
53阅读
在业务系统中，字符串类型的数据，一般被用作精确查询或模糊查询。当Elasticsearch被用作大数据量存储中心时，尤其是从Mysql迁移数据进来的情况下，我们很多场景下其实无需对字符串分词，也就是说字符串存储不使用es中的text，我们可以设置属性的类型为keyword。但是，如果数据结构中的字符串非常多，有没有一种方式，可以使字符串属性自动用keyword方式存储呢？这时候我们可以使用索引动态
转载
2024-06-18 21:37:29
27阅读
