文章目录一、Erasure Coding（纠删码）和Raid比较二、Erasure Coding（纠删码）介绍2.1正常场景时EC读写原理2.2故障场景时EC读写原理2.3EC冗余配比 一、Erasure Coding（纠删码）和Raid比较（1）EC算法是跨节点的，4+2:1的冗余允许1个节点故障而不丢失数据，RAID5一般是由节点内的若干块盘组成RAID组的，只能容忍硬盘故障，不能容忍节点故
转载
2024-06-05 14:52:44
179阅读
replication controller设计解读Kubernetes中第二个重要的概念就是replication controller，它决定了一个pod有多少同时运行的副本，并保证这些副本的期望状态与当前状态一致。所以，如果创建了一个pod，并且在希望该pod是持续运行的应用时[即仅适用于重启策略（RestartPolicy）为Always的pod]，一般都推荐同时给pod创建一个repli
转载
2024-06-25 15:10:36
47阅读
RAID磁盘冗余阵列 RAID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，然后利用分散读写技术来提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。 任何事物都有它的两面性。RAID技术确实具有非常好的数据冗余备份功能，但是它也相应地提高了成本支出。就像原本我
转载
2024-05-11 10:49:08
144阅读
八、可靠性探究1、副本剖析副本是相对于分区而言的，即副本是特性分区的副本一个分区中包含一个或多个副本，其中一个为leader副本，其余为follower副本，各个副本位于不同的broker节点中。只有leader副本对外提供服务，follower副本只负责数据同步分区中的所有副本统称为AR，而ISR是指与leader副本保持同步状态的副本（包括leader）集合，OSR是指与leader副本同步滞
转载
2024-06-11 20:35:06
86阅读
本文介绍docker的原理。容器本质之进程隔离1. 容器本质容器本质上是一种进程隔离的技术。容器为进程提供了一个隔离的环境，容器内的进程无法访问容器外的进程。2. 容器及容器中的进程在主机上的呈现启动一个ubuntu的容器：docker run -it ubuntu在主机上可以看到启动了三个进程：第一个是刚刚执行的命令第二个是启动的容器，容器在系统上就是一个进程第三个是在该容器父进程下的一个子进程
转载
2023-07-14 19:43:49
164阅读
一、Pod控制器及其作用Pod控制器，又称之为工作负载（workload），是用于实现管理pod的中间层，确保pod资源符合预期的状态，pod的资源出现故障时，会尝试进行重启，当根据重启策略无效，则会重新新建pod的资源。二、Pod控制器有多种类型1、ReplicaSet代用户创建指定数量的pod副本，确保pod副本数量符合预期状态，并且支持滚动式自动扩容和缩容功能。镜像可以进行版本升级Repli
转载
2024-07-31 18:01:31
42阅读
并联
电容器：shunt capacitor
并联电容器。原称移相电容器。主要用于补偿电力系统感性负荷的无功功率，以提高功率因数，改善电压质量，降低线路损耗.单相并联电容器主要由心子、外壳和出线结构等几部分组成。用金属箔（作为极板）与绝缘纸或塑料薄膜叠起来一起卷绕，由若干元件、绝缘件和紧固件经过压装而构成电容心子，并浸渍绝缘油。电容极板的引线经串、并联后引至出线
转载
2024-04-06 22:15:53
216阅读
大纲编写清单文件提交部署查看Pod维护实验手动删除Pod，Deployment自动增加手动调整副本查看Deployment查看ReplicaSet手动新增Pod，Deployment自动删除删除参考资料 多副本维护是指，对一组在任何时候都处于运行状态的 Pod 副本的稳定集合进行维护。说的直白点，就是保证某种的Pod数量会被自动维持——增加了该类Pod会自动删除多余的，减少了该类Pod会自动新增以
转载
2024-04-25 16:19:39
69阅读
Amazon在容器管理服务方面已经完全打败Microsoft，Azure目前尚不能支持Windows容器管理服务，而AWS的EC2 Container Service已经能够支持Windows容器——尽管这项测试服务仍然存在一些警告。 Amazon提供了一个CloudFormation模板，用于创建基于Windows的EC2容器集群，用户只需点击几下即可开始使用。Jeff Bar的博客文章声称该项
转载
2024-04-22 19:37:28
15阅读
在Kubernetes中部署MySQL数据库并且配置多个副本是一项常见的任务，在生产环境中，我们通常会配置多个MySQL副本来提高数据库的可用性和容错能力。在本文中，我将向你展示如何使用Kubernetes来部署MySQL并配置多个副本。
### 步骤概述
下面是整个流程的步骤概述：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤一 | 创建MySQL的Deploy
原创
2024-04-18 10:27:32
85阅读
副本分片的作用： 副本分片的主要目的是为了故障转移。（1）故障转移/集群恢复如果持有主分片的节点挂了，一个副本分片就会晋升为主分片 在索引写入时，副本分片做着与主分片相同的工作。新文档首先被索引进主分片然后再同步...
转载
2018-10-23 10:43:00
309阅读
2评论
节点的负载是一个好想法。 如果我们只是增加...
转载
2021-07-30 14:20:14
1047阅读
# Hive 副本的作用及实现
当你开始探索 Hive 存储和处理大数据时，可能会遇到副本（Replication）的概念。副本在 Hive 中的作用主要是为了提高数据的可靠性和可用性。本文将带你了解 Hive 副本的作用和如何实现副本的流程。
## 副本的作用
在 Hive 中，副本主要用于以下方面：
1. **数据冗余**：保存一份数据的备份，确保在主数据丢失时可以通过副本恢复。
2.
前言最近闲来无事，入手了一本钱文品老师的《Redis深度历险-核心原理与应用实践》一书，于是便偶尔翻几页学习一下Redis,毕竟用了好几年了，但是一些底层的核心内容一直没有系统的了解过，借此机会也让自己对Redis有个更深得了解吧。现在把第一张的内容进行总结并且记录一下，自己也在下面使用笔记本记录了一些要点，但是笔记本总是放着放着不知道拿哪里去了，搞了在不同的笔记本上东记一些西记一些，这里写个学习
转载
2024-05-16 06:36:13
48阅读
Kubernetes最核心的功能就是编排，而编排操作都是依靠控制器对象来完成的，高级的控制器对象控制基础的控制器对象，基础的控制器对象再去控制Pod，Pod里面再包容器。Kubernetes项目里API对象的层级结构大概就是这样。前面的文章：(Kubernetes Pod入门指南) 已经介绍了Pod概念和使用方法，今天我们来介绍管理Pod的最基础的一个控制器ReplicaSet。Repl
转载
2024-09-20 07:55:11
34阅读
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？1. 提供数据冗余。 即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。2. 提供高伸缩性。 支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。3. 改善数据局部性。 允许将数据放入与用户地理位置相近
转载
2024-03-17 11:26:47
197阅读
云+AI的智能时代已经到来，计算存储融合的大数据架构由于存在计算存储不能灵活扩展、不同大数据集群间资源利用率不均且数据无法共享、三副本存储利用率低且无法和AI应用高效联动等问题，已经无法满足云+AI时代的数据分析需求，计算跟存储分离已成为大势所趋。 OceanStor分布式存储存算分离方案在这种背景下，华为OceanStor分布式存储及大数据存算分离方案应运而生。华为大数据存算分离方案中，以Oc
转载
2024-03-21 14:41:57
110阅读
看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。
前言看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。常用术语名词解释cluster一个或者多个 node 指定相同的 cluster name，则它们会组成集群，并且自动选举 master，
转载
2024-05-17 06:52:25
48阅读
对于Redis来说，其高可用性是由两方面来保证的：一方面是数据尽量少丢失，前一篇总结推文提到的AOF和RDB实现了。另一方面是服务尽量少中断，Redis则是靠增加副本冗余量即同一份数据保存在多个实例上来实现的。对于多副本模式，Redis和关系型数据库一样，提供了主从库模式来保证数据副本的一致性。主从库之间采用的是读写分离的方式，即读操作可以被主库/从库接收，但是写操作只能先被主库接收执行然后才由主
转载
2023-08-10 23:59:36
77阅读
前言文章不含源码，只是一些官方资料的整理和个人理解 架构总览 这张图在大街小巷里都能看到，感觉是hbase架构中最详细最清晰的一张，稍微再补充几点。1) Hlog是低版本hbase术语，现在称为WALs。2) 1个region包含了多个store，1个store包含了1个colum family，这样就比较好理解3) 1个store包含了多个storefile，1个
