文章目录一、基本概念名词1.1 集群（cluster）1.2 节点（node）1.3 索引（index）1.4 分片（shards）1.5 文档（document）二、基本原理2.1 数据分布2.2 数据请求2.3 master主节点2.4 节点发现和退出 一、基本概念名词1.1 集群（cluster）一个集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内
转载
2024-03-27 08:28:29
370阅读
分片（Shard）以及副本（Replica） 分布式存储系统为了解决单机容量以及容灾的问题，都需要有分片以及副本机制。Elasticsearch 没有采用节点级别的主从复制，而是基于分片。它当前还未提供分片切分（shard-splitting）的机制，只能创建索引的时候静态设置。 (elasticsearch 官方博客的图片) 比如上图所示，开始设置为5个分片，在单个节点上，后来扩容
转载
2024-05-07 15:06:51
26阅读
ElasticSearch包含模块由集群管理Cluster、分片管理Shards、副本管理Replicas、恢复管理Recovery、数据源管理River、持久化存储管理Gateway、节点自动发现管理Discovery.zen、交互模块Transport。Cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概
转载
2024-06-18 17:21:19
49阅读
cluster代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。主节点的职责是负责管理集群状态，包括管理分片的状态和副本的状态，以及节点的发现和删除。只需要在同一个
转载
2023-12-09 21:10:55
90阅读
一、Es是如何实现分布式的1.Es本身基于lucene,高度支持分布式的核心思想就在于，在多个服务器上启动多个Es进程实例，组建了一套Es集群。2.其次，因为shard分片的应用，非常灵活的支持数据量横向扩展（只需要重建一个索引，多加shard，把数据迁进去）。再者说shard的数据其实是有多个备份，每个shard都会有一个primary shard，负责写数据，写入数据后，会将数据同步到其他的r
转载
2024-03-25 08:42:52
410阅读
设置主从关系通过 info replication 命令查看节点角色设置主从关系slaveof 主库ID 主库端口 如： slaveof 127.0.0.1 6379
主库宕机后，想让从库停止与其他数据库同步，转成主库，slaceof on one, 其他数据路想连接它，还要执行设置主库命令，否者会一直等着老主库
常见方式，一主二仆，薪火相传 薪火相传与一主二仆#一主二仆
注： 部分概念介绍来源于网络1.跨集群复制Cross-cluster replication (CCR) 跨集群复制最早发布版本Elasticsearch 6.7 版本 跨集群复制 (CCR) 功能支持将特定索引从一个 ElasticSearch 集群复制到一个或多个 ElasticSearch 集群。 复制索引是只读的 索引可以由一个或多个 Elasticsearch 集群进行复制。每个复制索引
转载
2024-04-28 09:09:57
36阅读
安装ElasticSearch -> 参考官方文档，下载压缩包解压即可使用ElasticSearch head → 相当于一个可视化工具，用来查看数据 -> 可以直接安装浏览器插件kibana (查询工具) -> 参考官方文档，下载压缩包解压即可使用ik 分词器(中文分词器) → GitHub 下载后直接下载放入 plugins 目录 → 在config目录下可以配置自己的词典核
1：索引(创建或者删除)一个文档首先：发送一个索引或者删除的请求给node1其次：node1接收到请求之后，会根据请求中携带的参数“文档id”判断出该文档应该存储在具体哪一个shard中shard = hash(routing) % number_of_primary_shards，比如shard0；其次就是node1通过元数据信息可以知道shard0在具体哪一个节点，于是node1会把请求转发给
转载
2024-07-06 23:06:06
15阅读
ES版本5.6.31、整个流程的开始，实在node启动后触发的，Node.java中start()方法，通过调用ZenDiscovery.java中的doStart()方法，之后会调用startInitialJoin方法开始进行加入现有的cluster或者选主。public void startInitialJoin() {
// start the join thread fro
转载
2024-09-04 03:39:04
34阅读
从本篇开始，对elasticsearch的介绍将进入数据功能部分（index），这一部分包括索引的创建，管理，数据索引及搜索等相关功能。对于这一部分的介绍，首先对各个功能模块的分析，然后详细分析数据索引和搜索的整个流程。这一部分从代码包结构上可以分为：index， indices及lucene（common）几个部分。index包中的代码主要是各个功能对应于lucene的底层操作，它们的操作对象是
转载
2024-09-24 13:39:55
43阅读
在K8S环境中搭建Elasticsearch（ES）的主从集群是常见的需求，可以提高系统的可靠性和性能。在这篇文章中，我将向你介绍如何实现“es主从集群搭建”。
### 步骤概览
首先让我们来看一下整个过程的步骤，如下表所示：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 创建PV和PVC（持久卷和持久卷声明） |
| 2 | 创建Headless Service
原创
2024-05-08 10:59:49
96阅读
知识点梳理变量类型
JS的数据类型分类和判断值类型和引⽤类型原型与原型链(继承)
原型和原型链定义继承写法作⽤域和闭包
执⾏上下⽂this闭包是什么异步
同步vs异步异步和单线程前端异步的场景ES6/7新标准的考查
箭头函数ModuleClassSet和MapPromise变量类型JavaScript是⼀种弱类型脚本语⾔，所谓弱类型指的是定义变量时，不需要什
简介7.x之后的ES，采用-种新的选主算法Raft [rɑːft] n. 筏；救生艇。Raft算法选主流程其设计原则如下：容易理解减少状态的数量，尽可能消除不确定性在Raft中，节点可能的状态有三种，其转换关系如下：正常情况下，集群中只有一个Leader，其他节点全是Follower。Follower 都是被动接收请求，从不主动发送任何请求。Candidate [ˈkændɪdət;
1.ES选主流程分析 概要: 我们知道es本身就是具有分布式特性的框架,并且采用的主从的架构,有主有从,那么当出现网络故障或主节点挂了,ES如果维持集群的状态,重新选举出一个master结点呢？1.1 采用的选举算法 es采用的选择算法是Bully算法,他假定集群中所以结点都有一个唯一的ID,使用该ID对结点进行排序。任何时候的当前Leader都是参与集群的最高ID结点.相关概念可参考:https
转载
2024-03-15 12:59:30
123阅读
主要知识点：
在index的mapping中加copy_to字段的方法
copy_to搜索方法
用most_fields策略，去实现cross-fields搜索，有3大弊端，为了解决这三个弊端，es的第一个办法就是用copy_to将多个field组合成一个field。
most_fields策略问题就出在有多个field，es只要将一个标识跨在多个f
转载
2024-02-14 15:23:55
235阅读
ES各种节点的分工1. 客户端节点 当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。2. 数据节点 数据节点主要是存储索引数据的节点，主要对文档进行增删改查操
转载
2024-02-17 16:22:31
35阅读
除了之前讲解的一些配置，根据你的集群环境特殊的配置，我们这一讲来讲解最重要的内存的分配，提出一些问题，生产环境部署es，不可避免要回答一个问题，比如我的机器上有64G的内存，或者32G的内存，那么一般来说我应该分配多少个G的内存给es的jvm heap1、jvm heap分配es默认会给jvm heap分配2个G的大小，对于几乎所有的生产环境来说，这个内存都太小了。如果用这个默认的heap si
转载
2024-06-22 13:40:48
34阅读
目录1.什么是主从复制2.主从复制的作用3.主从复制的原理4.主从复制搭建5.主从复制基本故障处理6.延时从库6.1 延时从库的作用6.2 延时从库的设置方法6.3 利用延时从库恢复数据7.半同步复制8.复制过滤1.什么是主从复制主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库；主数据库一般是准实时的业务数据库。2.主从复制的作用1、做数据的热备，作为后备数据库，主数据库服务器
前言京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsearch作为一款功能强大的分布式搜索引擎
转载
2024-04-07 06:19:52
72阅读
