这几天刚刚接触虚拟化，觉得很好玩，今天又自己部署了NFS存储，以便更轻松的访问计算机资源。ESXi 是vSphere产品套件中的重要部分，负责将计算机的物理资源转化为逻辑资源，从而保证高效地使用计算机资源。ESXi 支持下列类型的存储器：本地存储器将虚拟机文件存储在内部存储磁盘或直接连接的外部存储磁盘上。网络存储器将虚拟机文件存储在通过直接连接或高速网络与主机相连的外部存储磁盘或阵列上。 
转载
2024-02-08 06:03:40
113阅读
剖析Elasticsearch集群系列涵盖了当今最流行的分布式搜索引擎Elasticsearch的底层架构和原型实例。 本文是这个系列的第二篇，我们将讨论Elasticsearch如何处理分布式的三个C((共识(consensus)、并发(concurrency)和一致(consistency))的问题、Elasticsearch分片的内部概念，比如translog(预写日志，WAL(Write
文章目录基本介绍查询阶段取回阶段 基本介绍一个CRUD操作只处理一个单独的文档。文档的唯一性由_index, _type和routing-value（通常默认是该文档的_id）的组合来确定。这意味着我们可以准确知道集群中的哪个分片持有这个文档。找到所有匹配的文档只完成了这件事的一半。在搜索（search）API返回一页结果前，来自多个分片的结果必须被组合放到一个有序列表中。因此，搜索的执行过程分
转载
2024-03-28 09:46:30
29阅读
在egg的官方文档上可以看到：Egg.js 为企业级框架和应用而生，我们希望由 Egg.js 孕育出更多上层框架，帮助开发团队和开发人员降低开发和维护成本。那么到底什么是egg呢？egg设计理念首先egg也是一款基于node的server web框架，但这个框架不同于koa2, express。1，egg不定制技术选型，专注于提供 Web 开发的核心功能和一套灵活可扩展的插件机制2，一个插件只做一
ES什么是ES文档操作：是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。 2.ES文档元素：：索引库，类似于关系型数据库里的“数据库”—它是我们存储和索引关联数据的地方。：在应用中，我们使用对象表
转载
2023-08-10 00:38:49
62阅读
在搜索这块，lucene是最流行的搜索库。几年前业内一般都问，你了解lucene吗？你知道倒排索引的原理吗？现在早已经out了，因为现在很多项目都是直接用基于lucene的分布式搜索引擎——elasticsearch，简称为es。
elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。es中存储数据
转载
2023-08-09 16:49:54
64阅读
记录一下Elasticsearch插件和分布式的部署方法一、Elasticsearch插件安装 环境： openjdk 1.8.0_161 node 8.9.3 （要求大于等于6.0）
转载
2024-06-05 11:38:21
103阅读
一、准备知识elasticsearch设计的理念就是分布式搜索引擎，底层实现还是基于Lucene的，核心思想是在多态机器上启动多个es进程实例，组成一个es集群。了解几个概念：1、接近实时 es是一个接近实时的搜索平台，这就意味着，从索引一个文档直到文档能够被搜索到有一个轻微的延迟2、集群（cluster） 一个集群有多个节点（服务器）组成，通过所有的节点一起保存你的全部数据并且通过联合索引和
转载
2024-02-12 21:05:13
61阅读
ElasticSearch认识 ES即为了解决原生Lucene使用的不足，优化Lucene的调用方式，并实现了高可用的分布式集群的搜索方案 特点：分布式的实时文件存储分布式的实时分析搜索引擎扩展集群，处理PB级结构化或非结构化数据高度集成的服务上手简单 ElasticSearch简化了全文检索lucene的使
转载
2024-05-27 16:24:32
24阅读
基本原理:fastDFS是一个分布式文件存储系统,由tracker和storage两个服务组成.tracker负责查找文件存储的路径,storage负责存储文件.当一个文件请求到达fastDFS后,先找tracker服务查询文件存储的路径,然后根据路径请求storage服务访问文件资源.当文件上传的时候storage和tracker服务进行通信,将上传文件的位置信息通知给tracker. 由于fa
ElasticSearch 设计的理念就是分布式搜索引擎，底层其实还是基于 lucene 的。核心思想就是在多台机器上启动多个 es 进程实例，组成了一个 es 集群。 es 中存储数据的基本单位是索引，比如说你现在要在 es 中存储一些订单数据，你就应该在 es 中创建一个索引 order_idx，所有的订单数据就都写到这个索引里面去，一个索引差不多就是相当于是 mysql 里的一张表。i
转载
2023-10-08 22:47:19
70阅读
Elasticsearch篇之分布式特性介绍1 -分布式介绍及cerebroes支持集群模式，是一个分布式系统，其好处主要有两个
增大系统容量，如内存、磁盘，使用es集群可以支持PB级的数据提高系统可用性，即使部分节点停止服务，整个集群依然可以正常服务es集群可以由多个es实例组成
不同集群通过集群名字来区分，可通过cluste.name进行修改，默认为elasticsearch每个e
转载
2024-04-12 16:13:16
41阅读
目录1.安装JDK2.安装Hadoop3.文件配置4.启动集群5.查看集群 在开始Hadoop伪分布式环境搭建之前，需要完成这些准备工作。1.安装JDK 安装JDK之前,需要卸载系统中自带的JDK。[root@master ~]# java -version
openjdk version "1.8.0_131"
Open
转载
2023-09-20 12:02:24
98阅读
# 实现ES（Elasticsearch）分布式存储
## 简介
Elasticsearch 是一个分布式、RESTful 的全文搜索引擎，适用于大规模的数据分析和存储。在Kubernetes中部署ES来实现分布式存储，可以提高数据的可靠性和扩展性。
### 实现步骤
下面是实现ES分布式存储的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建Kubernete
原创
2024-05-29 09:58:54
73阅读
应该有一个方法论指导用户进行软件定义存储的容量选型。引用业界友人的观点，整体的角度看来，一个性能优异的软件定义存储，不在于它本身在各种高端的硬件条件下，表现出的强劲性能。而在于在合理搭配的一套硬件配置下，能挖掘出硬件自身的潜力，自上而下，打通“奇经八脉”，在软件和硬件的层面，尽量减少各种“瓶颈”和“死区”，以合理的成本满足应用的需求。相较于传统存储设备，SDS天生的优势在于通用化带来的灵活性和非锁
一、分布式系统的可用性与扩展性1、高可用性 服务可用性：允许节点停止服务 服务可用性：部分节点丢失,不会丢数据2、可扩展 请求量提升 / 数据的不断增长（将数据分布到所有节点上）二、分布式特性1、ES 的分布式架构的好处存储的水平扩容提高系统的可用性,部分节点停止服务,整个集群的服务不受影响2、ES 的分布式架构 a:不同的集群通过不同的名字来区分,默认名字“elasticsearch”
1. 读完本章最大的收获是了解了应该如何评估一个系统的能力以及应该怎样为一个线上系统预留发展空间。在系统上线的时候，我们经常被问到的几个问题就是你的系统能承受多大的用户量？我们当前应该部署多少服务才能承载公司的当前和未来一段时间的业务？ 2. 文中给出若干步骤用于预估系统的预留空间，将其总结如下： （1）确定当前的系统负载量，包括了解系统的组成以及每个组成部分的当前负载量；我们现在一般都是
转载
2024-05-27 15:48:54
10阅读
ES整个查询过程是scatter/gather的过程，具体如下：图见 最后 我是有些怀疑文章里面的说法的，因为如果都是由master来做merge的话，那么势必master的在查询比较多的时候会负载很高！我个人感觉应该是client node接受到查询，然后去master node的metadata里获取各个index对应shard，拿到shard后，然后给所有的
转载
2023-07-14 20:15:39
83阅读
一、引言Elasticsearch可以扩展到上百（甚至上千） 的服务器来处理PB级的数据 ，Elasticsearch为分布式而生， 而且它的设计隐藏了分布式本身的复杂性 ：将你的文档分区到不同的容器或者分片(shards)中， 它们可以存在于一个或多个节点中。将分片均匀的分配到各个节点， 对索引和搜索做负载均衡。冗余每一个分片， 防止硬件故障造成的数据丢失。将集群中任意一个节点上的请求路由到相应
es有很多特性，分布式、副本集、负载均衡、容灾等。 我们先搭建一个很简单的分布式集群（伪），在同一机器上配置三个es，配置分别如下： cluster.name: foxCluster
node.name: "fox"
cluster.name: foxCluster
转载
2024-07-19 09:07:37
73阅读
