作者：wsafight，
https://github.com/wsafight/personBlog/issues/2
在开发 web 应用程序时，性能都是必不可少的话题。对于webpack打包的单页面应用程序而言，我们可以采用很多方式来对性能进行优化，比方说 tree-shaking、模块懒加载、利用 extrens 网络cdn 加速这些常规的优化。甚至在vue-cli 项目中我们
目录一、新增文档（Document）1.1、put方式1.2、post方式二、查询文档三、修改文档3.1、全量更新3.2、部分更新3.3、检查更新四、删除文档4.1、单条删除五、bulk 批量增删改 一、新增文档（Document）1.1、put方式格式：PUT /index_name/type_name/id{field_name:field_value}（需手动指定id） 示例：PUT /te
转载
2023-10-24 05:17:40
332阅读
# 进入bin目录
cd /czz/elsearch/bin
# 后台启动(不加-d参数则是前台启动，日志在控制台)
# 后台启动日志如果不配置，在es目录的logs下面
./elasticsearch -d装完本机访问http://127.0.0.1:9200/{
"name" : "node-1",
"cluster_name" : "my-appli
转载
2024-06-14 22:23:59
69阅读
一.基础知识的刨析1.ElasticSearch中的indexElasticSearch中的索引(index)是用于组织数据的逻辑命名空监（如数据库）。ElasticSearch的所有默认有5个分片(shard)--当然这是7.x版本之前的特性了。7.x之后新建索引默认都是1个分片。分片是实际存储数据的lucene索引，它本身就是一个搜索引擎。每个分片可以有零个或多个副本（replicas）默认是
转载
2023-10-10 22:49:48
285阅读
记录一次工作中遇到的问题。后台管理系统中管理功能将数据保存到数据库一份，同时也保存到ES中一份，然后终端POS从ES中取数据。这时候问题来了，通过管理功能删除数据，本来应该是同时删除数据库以及ES中的数据，然而，实际情况是数据库中的数据已被删除，ES中的数据还在，等1-2分钟之后ES中数据才消失。这导致终端POS不能显示最新的数据。下面来看看问题的解决过程。先来看看实体类的配置。ESWindowg
转载
2024-03-27 01:05:28
298阅读
删除数据分为两种：一种是删除索引（数据和表结构同时删除，作用同MySQL中 DROP TABLE “表名” ），另一种是删除数据（不删除表结构，作用同MySQL中Delete 语句）。一：删除索引：删除单个索引可以使用命令 【DELETE /索引名称】Delete 索引名称删除多个索引可以使用命令 【DELETE /索引1，索引2】Delete 索引名称1，索引名称2 【DELETE /testi
转载
2023-07-06 14:51:31
1334阅读
品牌管理案例添加新品牌删除品牌<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta http-
一、分段存储elastic search以下统称es底层使用Lucene，lucene使用基于倒排索引和分段（segment）存储的方式完成数据索引。 将一个索引文件分成了许多子文件，每个子文件就叫做段（索引中最小存储单元），段具有不变性，一旦索引数据被写入到硬盘就不可再修改1.1数据操作过程：新增：新增索引数据时，由于段的不变性，所以会新建一个段存储新数据。删除：删除索引数据时，由于段的不变性，
转载
2023-12-02 17:40:23
114阅读
首先明确几个概念：1.segment是在磁盘上的2.ES删除数据导致磁盘容量上升原因：ES才用的标记删除，首先会将要合并的数据拷贝出来，重新写入到新的segment中，然后删除旧的数据，所以会导致消耗额外的磁盘和IO3.ReFresh：从文件系统缓存中把数据写入到磁盘segment，并打开segment，使得新数据可以搜索的过程叫做Refresh4.ES查询将按照策略分配到指定的主从片上，默认是挑
转载
2024-03-05 07:14:23
188阅读
一、写数据的底层原理数据写入的底层流程原理 1、数据先被写进内存buffer，同时这一操作也写进translog中，这时的数据还不可被检索到。 2、每隔1s(这个时间可以调整)进行一次refresh，将buffer内1s的数据写进os cache中，构成一个segment分段，同时清空buffer，这时数据可以被检索到，但由于数据仍然在内存中，若发生故障，数据是可以丢失的。 3、不断地重复上面的步
转载
2023-10-13 19:59:10
165阅读
在生产环境下，无论使用Elasticsearch做检索还是ELK分析的，如果文档数量非常庞大，动辄就是按T计算。Elasticsearch也提供了文档的批处理机制，允许一次性检索多个文档。为了保证集群处在一个最佳负载状态，我们会通过Delete By Query的方式去定期删除索引中的数据。Delete By Query API 介绍根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。
转载
2023-09-17 11:33:38
418阅读
1、es写入数据的基本原理及过程假设es中的一个index，有3个shard，部署在3台机器上，如图1所示。图1 es部署图当客户端写入一条数据的时候，可以挑选任意一个节点去写，假设客户端把数据分发到了机器02上去了。此时es进程02就被称为协调节点（coordinating node）。图2 es协调节点协调节点此时就会对这这条数据做hash，假设这条数据hash完之后属于shard0
转载
2023-09-29 21:01:49
208阅读
一、背景Elasticsearch是最近几年非常热门的分布式搜索和数据分析引擎，携程内部不仅使用ES实现了大规模的日志平台，也广泛使用ES实现了各个业务场景的搜索、推荐等功能。本文聚焦在业务搜索的场景分享了我们在做数据同步方面的思考和实践，希望能对大家有所启发。二、现状调研数据同步是个很麻烦的事情，在各种论坛、分享中被大家反复讨论。我们的需求大致包括全量、增量地从Hive、MySql、Soa服务、
转载
2024-02-29 09:37:19
34阅读
公司的数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有时间整理一些完善的文档，在此分享以供所需的朋友。 图片来自 Pexels在此篇幅中偏重于 ES 的优化，关于 HBase，Hadoop 的设计优化有很多文章可以参考，不再赘述。需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且 DB 中只能保留 3 个月的数据(硬件高配)，分
转载
2024-03-25 10:29:48
101阅读
文章目录一、作者有话说1.1 专业术语（必须进行掌握）1.1.1 索引 index1.1.2 映射 mapping1.1.3 字段 field1.1.4 术语 term1.1.5 文本 text1.2 操作工具为 elasticsearch head二、实际进行操作2.1 操作es的步骤2.1 使用自动创建的形式创建index2.1.1 常规操作创建格式： POST 索引/_doc2.1.2 查
转载
2024-03-24 10:48:03
396阅读
ElasticSearch 一个很常用的搜索框架，首先了解下它的基础概念。集群：ES集群由若干节点组成，这些节点在同一个网络内，cluster-name相同。节点：而这些节点都是运行着ElasticSearch实例，节点的类型分为master节点，data节点，client节点。master节点：集群中一个节点会被选为master节点，它将负责管理集群范畴的变更，例如创建或删除索引，
转载
2023-09-25 21:13:11
193阅读
# Elasticsearch 删除数据操作的 Java 实现
## 引言
Elasticsearch 是一个开源的分布式搜索和分析引擎，可以快速存储、搜索和分析海量数据。在实际应用中，我们常常需要对 Elasticsearch 中的数据进行删除操作。本文将介绍如何使用 Java 客户端实现 Elasticsearch 数据的删除操作，并提供相应的代码示例。
## Elasticsearch
原创
2023-10-18 08:22:31
137阅读
1. RESTful介绍：RESTful 是目前最流行的 API 设计规范，用于 Web 数据接口的设计。RESTful 的核心思想就是，客户端发出的数据操作指令都是"动词 + 宾语"的结构。比如，GET /articles这个命令，GET是动词，/articles是宾语。 REST基本操作： GET ：获取对象的当前状态  
上一篇文章中，我们介绍了Elasticsearch集群运行情况、索引、文档的CRUD操作了，下面让我们来愉快地学习一些新的命令吧。批处理Elasticsearch除了能够索引，更新和删除单个文档之外，还提供了使用_bulkAPI批量执行上述任何操作的功能。
此功能非常重要，因为它提供了一种非常有效的机制，可以尽可能快地执行多个操作，并尽可能少地进行网络往返。
作为一个简单示例，以
学习思路：分片算法分布式CRUD原理一、分片算法主分片数量是在索引创建的时候确定（7.0版本前默认5个）并且后期不可修改 ，复制分片可以随时更改，为什么主分片数量确定后就不可修改，这要从它的分片算法说起：分片算法跟数据库分片算法的概念一样，首先需要一个分片字段（默认_id）然后按照一定的算法将数据分配得到指定的分片，分片算法如下分片=hash(分片字段value)%主分片数量是根据主分片数量进行取
转载
2024-04-25 09:18:34
44阅读
