一、介绍： 1、所谓HA（High Available），即高可用（7*24小时不中断服务） 2、实现高可用的关键是消除单点故障，即HDFS的nameNode和YARN的resourceManager，所以HA机制就是HDFS的HA和YARN的HA。 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的
转载
2023-07-06 23:42:34
95阅读
集群架构集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果集群作用分散单条服务器的访问压力，实现负载均衡
分撒单台服务器的存储压力，实现可扩展性
降低单台服务器宕机带来的业务灾难一、Redis集群结构设计1.数据存储设计通过两个算法（CRC16(key)和%16384），计算出key对应的位置 增强可扩展性 2.集群内部通讯设计
转载
2023-07-06 23:40:26
101阅读
ceph简介Ceph是一个具有高扩展、高可用、高性能的分布式存储系统，根据场景划分可以将Ceph分为对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储。比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实
转载
2024-01-04 23:26:43
57阅读
DM DSC 集群是一个多实例、单数据库的系统。DSC系统特性1. 高可用性：只要集群中有一个活动节点，就能正常提供数据库服务。2. 高吞吐量：多个节点同时提供数据库服务，有效提升集群的整体事务处理能力。3. 负载均衡：用户的连接请求被平均分配到集群中的各个节点，确保各个节点的负载大致平衡。DMDSC 组件：集群主要由数据库和数据库实例、共享存储、本地存储、通信网络、以及集群控制软件DMCSS组成
转载
2023-11-30 06:44:02
141阅读
之前分享了一篇文章，是关于《OceanBase 存储引擎结构》的上篇，本篇文章是该部分的下篇，将从 OB 的分布式存储、内存存储等角度进行介绍。主要分为以下三个方面：存储格式主表查询索引表查询1. 存储格式OceanBase 的最小数据同步粒度是 Partition，按照同样 ID 分区的 Partition 可以形成 PG（Partition Group），Partition Group 中的查
转载
2024-01-11 08:11:42
150阅读
1 存储设备DAS：IDE、SATA、SCSI、SAS、USB，直接附加存储，直接附加到计算机主板总线上提供存储服务NAS：NFS，CIFS，网络附加存储，通过网络附加至计算机文件挂载点上提供存储服务，文件系统级别的存储方式，无法对挂载文件存储服务进行格式化等操作SAN：SCSI，FC SAN、iSCSI，提供块存储服务，而NFS提供的是文件级别存储服务2 关于CephCeph是一个对象(obje
转载
2023-12-18 21:27:44
84阅读
HBase架构原理HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理BigTable中的海量数据
转载
2023-07-06 17:16:38
55阅读
1准备机器本文描述如何在 CentOS 7 下搭建 Ceph 存储集群（STORAGE CLUSTER）。一共4台机器，其中1个是管理节点，其他3个是ceph节点：管理节点：admin-nodeceph节点：node1, node2, node3所有节点：admin-node, node1, node2, node31.1修改主机名# vi /etc/hostname1.2修改
原创
精选
2023-07-08 14:30:44
413阅读
点赞
一、准备机器 本文描述如何在 CentOS 7 下搭建 Ceph 存储集群（STORAGE CLUSTER）。 一共4台机器，其中1个是管理节点，其他3个是ceph节点： hostnameiprole描述 admin-node 192.168.0.130 ceph-deploy 管理节点 node1
原创
2020-02-13 16:13:00
323阅读
一、ELK介绍 ELK 是三个开源软件的缩写，提供一套完整的企业级日志平台解决方案。 分别是： • Elasticsearch：搜索、分析和存储数据 • Logstash ：采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储 • Kibana：数据可视化 • Beats ：集合了多种单一用途数据采集器，用于实现从边缘机器向 Logstash 和 Elasticsearch 发送
转载
2023-09-23 15:29:11
19阅读
集群NAS： 集群（Cluster）是由多个节点构成的一种松散耦合的计算节点集合，协同起来对外提供服务。集群主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群NAS是指协同多个节点（即通常所称的NAS机头）提
转载
2024-01-02 13:54:35
19阅读
存储 (Storage)存储是用于保有数据的技术。目前计算机存储采用的技术方式主要有以下几种：磁介质（硬盘，磁带），半导体（内存，固态硬盘，闪存卡等），光介质（光盘）等。不同的存储方式在各方面具有不同的特点，如易失性（断电是否失去数据），容量大小，读写支持（读写，只读，快读慢写，一次性写入等），数据存取方式（连续存取，随机存取），性能（如延迟，吞吐量等），能耗等。下文所说的存储指二级存储，又称外存
转载
2024-01-03 13:25:00
75阅读
**Kubernetes集群存储指南**
Kubernetes（简称K8S）是一套用于自动部署、扩展和管理容器化应用程序的开源平台。在K8S中，集群存储是一个非常重要的概念，它使得多个Pod可以共享持久化数据而不受单个节点影响。在本篇文章中，我将指导您如何在K8S中实现集群存储。
**步骤概述**
下表展示了实现集群存储的整个流程：
| 步骤 | 描述
原创
2024-05-21 11:03:36
57阅读
1、引子随着网络视频行业不断走向成熟，越来越多的企业都参与到视频网站建设中来，竞争愈加激烈，而带宽、服务器、存储、编解码等各项技术直接关系到竞争优势。存储系统作为视频数据的载体，其IO性能和可扩展性、可靠性对整套系统架构起着至关重要的作用。 集中存储在面对海量数据存储时,以往用户会采用传统的使用方法：集中存储，将所有的数据存放于一个单一大容量盘阵或者存储服务器中，并采用较高等级的RAID进行数据保
转载
2024-05-07 22:44:52
29阅读
一、集群CLUSTER 介绍计算机集群Cluster，可以把多台计算机 连接在一起使用，平分资源或互为保障。其好处不言而喻，群集中的每个计算机被称为一个节点，节点可添加可减少，在这些节点之上虚拟出一台计算机供用户使用；从使用用户的角度看始终是使用一台计算机，无所谓多少节点。如Figure1所示，其中多台计算机可以共同分担资源，也可以互为保障，节点之间的工作方式取决于不同的群集技术，不同厂商实现方式
转载
2023-07-06 23:41:13
127阅读
集群iscsi共享数据完整性，安全性、协议存储是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问一方面它是数据临时或长期驻留的物理媒介，另一方面，它是保证数据完整安全存放的方式或行为，存储就是把这两个方面结合起来，向客户提供一套数据存放解放方案。存储技术分类：scsi小型计算机系统接口：作为输入／输出接口，请要用于硬盘、光盘、磁带机等设备。DAN直连式存储共
原创
2018-10-08 20:44:39
1955阅读
172.40.50.117vnc7000++++++++++++++++++++++++++++++++集群与存储5天存储iscsi共享存储ceph分布式存储配置LB集群配置HA集群day01192.168.4.50client50运行网站服务并编写网页文件test.html在宿主机访问50主机的网站服务192.168.4.51storage51添加1块5G的硬盘配置yum源关闭防火墙和selin
原创
2018-10-08 20:45:59
501阅读
### 构建数据存储集群步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 部署K8S集群 |
| 2 | 安装存储插件 |
| 3 | 创建PersistentVolume（PV）|
| 4 | 创建PersistentVolumeClaim（PVC）|
| 5 | 创建Deployment，StatefulSet或DaemonSet |
| 6 | 部署应用程序 |
原创
2024-04-24 10:56:30
82阅读
**实现“vcenter 存储集群”步骤**
| 步骤 | 操作 |
|:--:|:------------:|
| 1 | 配置vCenter存储集群 |
| 2 | 创建存储策略 |
---
**步骤一：配置vCenter存储集群**
在Kubernetes中，vCenter存储集群配置是非常常见的，可以用来管理和使用vCenter的存储资
原创
2024-05-21 11:03:01
232阅读
在Kubernetes中，共享存储集群是一个非常重要的概念，它可以让多个Pod共享同一个持久化存储资源，实现数据的共享和持久化。在本篇科普文章中，我将向你介绍如何在Kubernetes中实现共享存储集群，以及每一步需要做什么和具体的代码示例。
### 共享存储集群实现流程
下表展示了实现共享存储集群的步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建持久化存储卷（PV
原创
2024-05-17 11:08:19
101阅读
