路由一个文档到一个分片中当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？当我们创建文档时，它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢？首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个公式决定的：shard = hash(routing) % ...
原创
2021-07-29 09:16:16
186阅读
文章目录InnoDB 引擎底层存储原理和结构体系InnoDB 记录存储结构和索引页结构行格式索引页格式InnoDB 的体系结构InnoDB 的表空间独立表空间系统表空间InnoDB 数据字典(Data Dictionary Header)Buffer Pool InnoDB 引擎底层存储原理和结构体系到目前为止，MySQL 对于我们来说还是一个黑盒，我们只负责使用客户端发送请求并等待服务器返回结
转载
2023-09-28 16:06:51
91阅读
VMware vSphere的存储时存储虚拟机的空间，根据存储的种类不同可分为本地存储和共享存储，这里就了解一下这两种存储的特点。
在部署了VMware vSphere后，esx服务器都会使用本地建立一个默认的本地存储datastore1，这个存储使用的介质就是本地磁盘，其他esx服务器是不能使用的。
另外还有很多用户会选择使用共享存储来承载虚拟机及其数据，目前VMware vSphere支持
原创
2012-04-23 15:39:55
1111阅读
引言 进入大数据时代，数据集的大小已经超过一台独立物理计算机的存储能力，我们需要对数据进行分区（partition）并存储到若干台单独的计算机上，也就出现了管理网络中跨多台计算机存储的文件系统：分布式文件系统（distributed filesystem）。基于hadoop分布式文件系统HDFS（Hadoop Distributed Filesystem）具备高容错、高吞吐量等特性，在大数据和A
ELK日志系统原理文档 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。后文的四种基本架构中将逐一介绍应用到的其它套件。· Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache
ES里有一个叫做gateway的东西，今天抽空理一下，前面翻译ES的一篇博文叫做“搜索引擎与时间机器”，既然里面谈到了时间机器，就免不了需要穿越时空的的门咯，I guess，也许gateway这名字就是这么来的，其实在ES里面，gateway的主要职责是用来对数据进行长持久化(持久化了之后加上版本信息，不就可以自由的往还于过去未来之间了吗？)，另外，整个集群重启之后可以通过gateway重新恢复
觉得很有必要把基础的东西写下来备忘。 语句块定义：Sql代码 decalre
-- 变量声明
var1 number(2); -- 仅声明
var2
原创
2015-01-20 15:59:29
909阅读
一、数据存储类型数据存储常见的类型有数据块存储、文件方式存储、对象存储。块存储和文件存储就是通常说的SAN和NAS，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device），简称OSD。
1. 块存储块概念（block）：块是指以扇区为基础，一个或多个连续的扇区组成
稳定版本，是最终可以上线的版本。虽然git是分布式的，但是最终还会有“集中化”的味道。不过相比于传统的svn等集中式工具，git还是有优势的，...
原创
2022-11-11 11:56:15
87阅读
数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以 获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySQL的核心就是存储引擎。 存储
转载
2019-01-31 22:44:00
104阅读
2评论
RAID原理基础： 内存的速度可以达到5G每秒。甚至更高 现代硬盘的缺陷：IO性能极弱，稳定性极差； RAID:廉价磁盘冗余阵列技术是通过该多磁盘并行运行来提高计算机的存储IO性能。 RAID分为很多种类，称之为RIAD级别。现代RIAD共有7类，常用的有以下四类： RAID 0 读写性能 RAID 1 读取性能、冗余性（空间利用率最高，性能最高） RAID 5 读写性能、冗余性 （最多损坏1块硬
原创
2014-10-27 17:58:56
401阅读
lvs的术语： director/real server ip: vip: Virtual IP DIP:Diector IP  
原创
2016-09-18 16:04:53
2504阅读
文章目录一、死锁的基本概念1、为何会发生死锁？2、死锁的定义3、死锁的必要条件二、鸵鸟策略三、死锁检测与死锁恢复1、每种
转载
2023-08-29 12:20:03
50阅读
搜索引擎 索引组件： 获取数据-->建立文档-->文档分析-->文档索引（倒排索引） 搜索组件： 用户搜索接口-->建立查询（将用户键入的信息转换为可处理的查询对象）-->搜索查询-->展现结果 索引组件：Lucene 核心组件 索引（index）：数据库(database) 类型（type）：表(
原创
2023-08-18 12:22:01
39阅读
1、基本概念1.1、版本库Git版本库(repository)是一个简单的数据库，其中包含所有用来维护与管理项目的修订版本和历史的信息。在Git中，跟大多数版本控制系统一样，一个版本库维护项目整个生命周期的完整副本。然而，不同于其他大多数VCS，Git版本库不仅仅提供版本库中所有文件的完整副本，还提供版本库本身的副本。Git在每个版本库里维护一组配置值，如版本库的用户名和email地址。不像文件数
原创
精选
2023-08-14 09:17:40
249阅读
点赞
目录一、IO总线二、SCSI三、FC和iSCSI四、FCIP、FCoE五、DMA、RDMA、IB六、ATA、SATA、SAS七、PCI、PCIe八、NVMe九、NVEe over Fabric十、NDMP十一、NDM一、IO总线在计算机的世界中，各个部件（控制器、运算器、输入设备、输出设备、存储）都是通过总线的模式进行通信的，总线在功能上分为数据总线、地址总线、控制总线。词如其名，数据总线传数据，
转载
2023-09-22 18:15:52
47阅读
例子 比如douyin视频app 上传视频--存储视频--转码--存储视频--通过推荐服务投放 \抽帧--存储图片--↗ 需要一个海量、易用、便宜的存储系统来解决这个问题。 为什么是对象存储 分布式存储： 分布式文件系统NAS/HDFS(受到NameNode的限制，Posix接口复杂，非云原生，数据
