1. 多机同时运行2. 当客户端提交一个大文件的时候，服务端要判断这个文件的大小，然后把这个文件分割，并执行一些调度逻辑，假设分成4份，调度逻辑要调度出这份文件的4个子集，分别应该放到哪个具体的data-server上，并向客户端返回这4个data-server的IP地址3. 服务端记录下这个文件和这4个dataserver的对应关系，这些就叫元数据，比如
IngressLoadBalancer类型的Service提供的是四层负载均衡器，当只需要向外暴露一个服务的时候，采用这种方式是没有问题的。但当一个应用需要对外提供多个服务时，采用该方式则要求为每一个四层服务（IP+Port）都创建一个外部load balancer。一般来说，同一个应用的多个服务/资源会放在同一个域名下，在这种情况下，创建多个Load balancer是完全没有必要的，反而带来了
转载
2024-03-27 09:37:34
50阅读
三个节点简述：namenode: datanode: secondary node 1、分布式文件管理系统：数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享
转载
2024-07-03 07:06:14
46阅读
Nginx负载均衡选择在秒杀系统中的应用简介在构建高性能秒杀系统时，负载均衡器的选择至关重要。Nginx作为一款强大的负载均衡工具，支持四层（传输层）和七层（应用层）负载均衡。当在面试中遇到关于秒杀系统和Nginx负载均衡的问题时，我们应该如何回答呢？面试题解答思路面试题：在设计秒杀系统时，为何要选择Nginx作为负载均衡器？四层和七层负载均衡在这个场景中如何选择？请详细解释。回答思路：引言： 首
kubernetes面试题汇总 1、 k8s是什么？请说出你的了解？答：Kubenetes是一个针对容器应用，进行自动部署，弹性伸缩和管理的开源系统。主要功能是生产环境中的容器编排。 K8S是Google公司推出的，它来源于由Google公司内部使用了15年的Borg系统，集结了Borg的精华。 2、 K8s架构的组成是什么？答：和大多数分布式系统一样，K8S集群至少需要一个主节点（Master）
文章目录一、Erasure Coding（纠删码）和Raid比较二、Erasure Coding（纠删码）介绍2.1正常场景时EC读写原理2.2故障场景时EC读写原理2.3EC冗余配比 一、Erasure Coding（纠删码）和Raid比较（1）EC算法是跨节点的，4+2:1的冗余允许1个节点故障而不丢失数据，RAID5一般是由节点内的若干块盘组成RAID组的，只能容忍硬盘故障，不能容忍节点故
转载
2024-06-05 14:52:44
179阅读
一个商业存储系统，为了实现故障容错需要有数据冗余技术。当组成存储系统的部件（包括但不限于硬盘）出现故障时，由于存在冗余，仍然可以从其它部件完整读取数据，从而不会因为故障造成数据丢失。通常衡量数据冗余技术的指标为数据冗余率、检错能力、纠错能力和纠删能力，定义如下：数据冗余率：冗余后的数据容量/原始数据容量x100% 检错：能识别数据差错 纠错：能纠正数据差错 纠删：能纠错而且能删除超过纠错能力的数据
转载
2024-06-05 21:51:01
143阅读
Kubernetes 暴露服务的有三种方式，分别为 LoadBlancer Service、NodePort Service、Ingress。官网对 Ingress 的定义为管理对外服务到集群内服务之间规则的集合，通俗点讲就是它定义规则来允许进入集群的请求被转发到集群中对应服务上，从来实现服务暴漏。 Ingress 能把集群内 Service 配置成外网能够访问的 URL，流量负载均衡，终止SSL
转载
2024-04-25 20:28:29
25阅读
用node搭建一个本地http服务器。首先了解htpp服务器原理HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。下
POST /_cluster/reroute
{
“commands” : [ {
“allocate_empty_primary” : {
“index” : “rt_2019-04-ext”,
“shard” : 2, 丢失的分片
“node” : “es3”, ///重新恢复的分片的节点
“accept_data_loss”:true
}
}]
}副本丢失：
一 什么是主从复制机器故障；容量瓶颈；QPS瓶颈一主一从，一主多从做读写分离做数据副本扩展数据性能一个maskter可以有多个slave一个slave只能有一个master数据流向是单向的，从master到slave1.1 原理1. 副本库通过slaveof 127.0.0.1 6379命令,连接主库,并发送SYNC给主库
2. 主库收到SYNC,会立即触发BGSAVE,后台保存RDB,发送给副
转载
2024-02-04 01:18:14
72阅读
HDFS 基本 原理1，为什么选择 HDFS 存储数据 之所以选择 HDFS 存储数据，因为 HDFS 具有以下优点：1、高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。2、适合批处理它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。3、适合大数据处理处理数据达到 GB、T
转载
2023-11-08 20:44:37
206阅读
复制复制功能是Redis提供的多机功能中最基础的一个，这个功能是通过主从复制（master-slave replication）模式实现的，它允许用户为存储着目标数据库的服务器创建出多个拥有相同数据库副本的服务器，其中存储目标数据库的服务器被称为主服务器（master server），而存储数据库副本的服务器则被称为从服务器（slave server）。如下图所示： 对于Redis来说，一个主服务
转载
2024-06-21 11:11:42
44阅读
前言最近闲来无事，入手了一本钱文品老师的《Redis深度历险-核心原理与应用实践》一书，于是便偶尔翻几页学习一下Redis,毕竟用了好几年了，但是一些底层的核心内容一直没有系统的了解过，借此机会也让自己对Redis有个更深得了解吧。现在把第一张的内容进行总结并且记录一下，自己也在下面使用笔记本记录了一些要点，但是笔记本总是放着放着不知道拿哪里去了，搞了在不同的笔记本上东记一些西记一些，这里写个学习
转载
2024-05-16 06:36:13
48阅读
Kubernetes最核心的功能就是编排，而编排操作都是依靠控制器对象来完成的，高级的控制器对象控制基础的控制器对象，基础的控制器对象再去控制Pod，Pod里面再包容器。Kubernetes项目里API对象的层级结构大概就是这样。前面的文章：(Kubernetes Pod入门指南) 已经介绍了Pod概念和使用方法，今天我们来介绍管理Pod的最基础的一个控制器ReplicaSet。Repl
转载
2024-09-20 07:55:11
34阅读
RAID磁盘冗余阵列 RAID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，然后利用分散读写技术来提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。 任何事物都有它的两面性。RAID技术确实具有非常好的数据冗余备份功能，但是它也相应地提高了成本支出。就像原本我
转载
2024-05-11 10:49:08
144阅读
一， ingress ingress是一层代理nginx, HAproxy,envoy 都是反向代理软件，代理软件可以监听一个地址，比如www.baidu.com, 这个地址接收到请求之后，反向代理软件来配置一些规则，规则就是一些配置文件，配置文件规定接收的请求的跳转规则，跳到哪些服务器上来处理这些请求。那么配置文件如何生成呢？跳转规则在k8s里就抽象成了一个对象，就是ing
转载
2024-02-25 13:27:09
71阅读
MFS 存储简介MFS：MooseFS 是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问 MFS 的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看 MooseFS 就相当于 UNIX 的文件系统冗余：一个文件可以在多台服务器同时保存 （副本数、期望值） 可以设置文件
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？1. 提供数据冗余。 即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。2. 提供高伸缩性。 支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。3. 改善数据局部性。 允许将数据放入与用户地理位置相近
转载
2024-03-17 11:26:47
197阅读
云+AI的智能时代已经到来，计算存储融合的大数据架构由于存在计算存储不能灵活扩展、不同大数据集群间资源利用率不均且数据无法共享、三副本存储利用率低且无法和AI应用高效联动等问题，已经无法满足云+AI时代的数据分析需求，计算跟存储分离已成为大势所趋。 OceanStor分布式存储存算分离方案在这种背景下，华为OceanStor分布式存储及大数据存算分离方案应运而生。华为大数据存算分离方案中，以Oc
转载
2024-03-21 14:41:57
110阅读
