导读前一段时间研究了一下分布式块存储Longhorn这个项目，Longhorn是完全基于K8s实现的分布式块存储，最大的特性就是他通过以微服务的方式（engine_instance+replicas）来提供存储服务，所以可用性极高。但本质还是通过iscsi把存储目录映射为一个盘挂到节点上然后再mount给容器使用，所以运行效率本身不太高，看到网上说的要比nfs可能要好一点，但是肯定是比不上本地磁盘
转载
2024-03-25 10:49:37
126阅读
分布式存储是指将数据分布存储在多台服务器上，通过网络连接将这些服务器连接起来，实现数据的高可靠性和高可扩展性。而块存储是将数据存储在一个连续的、固定大小的块中，可以在不同服务器之间共享和传输。
在Kubernetes中，我们可以使用分布式存储和块存储来存储应用程序的数据，确保数据的高可靠性和可扩展性。本文将介绍如何在Kubernetes中实现分布式存储和块存储，帮助新手开发者快速入门。
整个流
原创
2024-05-21 10:46:59
112阅读
随着云计算和大数据技术的不断发展，分布式系统已经成为了现代软件开发中的一种重要架构方式。在这种情况下，如何实现一个高效可靠的分布式块存储就显得非常重要。本文将通过K8S（Kubernetes）来实现分布式块存储，并教导刚入行的小白如何一步步实现。
### 总体流程
在实现分布式块存储的过程中，我们主要使用K8S的存储卷（Volume）功能来实现。下面是实现分布式块存储的整体流程：
| 步骤
原创
2024-05-21 10:47:25
72阅读
在Kubernetes(K8S)中，分布式块存储和分布式文件存储是非常重要的概念，它们可以帮助我们解决存储数据的问题。在本文中，我将向你介绍如何在K8S中实现分布式块存储和分布式文件存储。
## 分布式块存储和分布式文件存储的实现流程
下表展示了在K8S中实现分布式块存储和分布式文件存储的步骤：
| 步骤 | 操作 |
|------|------|
| 1. | 部署分布式存储系统
原创
2024-05-21 10:47:36
152阅读
## 块存储和分布式存储
### 什么是块存储和分布式存储
在Kubernetes（K8S）中，块存储和分布式存储是非常重要的概念。块存储是一种存储卷，可以直接挂载到Pod中，提供了类似硬盘的功能。而分布式存储则是一种可以水平扩展的存储系统，可以跨多个节点进行数据存储和读写。
### 实现步骤
下面是实现块存储和分布式存储的大致流程：
| 步骤 | 描述 |
| --- | --- |
原创
2024-05-21 10:48:22
67阅读
在Kubernetes（简称K8S）集群中使用分布式块存储是一项重要的技术，可以为应用程序提供高可靠性和持久性的数据存储解决方案。在本文中，我将向你介绍如何在K8S集群中实现分布式块存储，并提供代码示例来帮助你快速上手。
首先，让我们来看一下实现分布式块存储的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装并配置分布式存储系统（如Ceph、GlusterFS等）
原创
2024-05-21 10:47:10
74阅读
在Kubernetes（K8S）集群中实现ceph分布式块存储是一个常见的需求，它可以为应用程序提供高可用性和可扩展性。在本文中，我将向您介绍如何实现ceph分布式块存储，并为您提供相应的代码示例，让您能够轻松地在K8S集群中部署和管理ceph存储。
#### 整件事情的流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 部署ceph集群 |
| 2 | 创建ceph存
原创
2024-04-30 11:32:24
87阅读
# 从单体架构到分布式块存储架构
## 1. 整体流程
在讨论分布式块存储架构之前，首先需要了解单体架构和分布式系统的基本概念。单体架构是指系统的所有组件都运行在同一个进程中，而分布式系统则是将系统拆分成多个独立的组件，分布在不同的计算节点上。
分布式块存储架构是一种将块级数据存储在多个节点上的架构，以实现数据的高可用性和扩展性。常见的解决方案包括使用分布式文件系统（如HDFS）、对象存储（
原创
2024-05-21 10:48:11
92阅读
分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企
转载
2023-12-27 14:43:41
113阅读
集群内部工作方式Elasticsearch用于构建高可用和可扩展的系统。 扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器（ 横向扩展(horizontal scale orscaling out)） 。对于大多数数据库而言， 横向扩展意味着你的程序将做非常大的改动才能利用这些新添加的设备。 对比来说， Elasticse
1. 管理存储池1.1 创建存储池PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值)#ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] [crush-rule...
原创
2021-04-20 10:21:07
551阅读
分布式块存储是指利用多台服务器来存储和管理数据，其中每个服务器上的存储设备都可以独立访问。而Ceph作为一种流行的分布式块存储解决方案，被广泛应用于云计算和大数据环境中。然而，部署和管理Ceph系统并非易事，其中存在诸多难点需要克服。
首先，Ceph集群的规模较大，节点数量众多，其中包括不同类型的节点和组件，如Monitor、Manager、OSD、MDS等。在部署和维护过程中，需要充分考虑集群
原创
2024-03-12 10:47:50
48阅读
在Kubernetes（简称K8S）中使用阿里云分布式块存储可以帮助我们实现高可用、高性能的存储解决方案。本文将指导您如何在K8S集群中使用阿里云分布式块存储，帮助您更好地管理数据存储。
整个过程可以简化为以下几个步骤：
| 步骤 | 操作 | 代码示例
原创
2024-05-21 11:23:45
128阅读
### 实现分布式块存储系统
分布式块存储系统是指将数据分散存储在多个节点上，从而实现高可用性和可扩展性的存储方案。在Kubernetes（K8S）中，我们可以通过一些工具和技术来实现分布式块存储系统，如使用GlusterFS、Ceph等。
#### 流程概述
下面是实现分布式块存储系统的一般流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 部署分布式存储系统 |
原创
2024-05-21 10:48:49
114阅读
一、 集群环境1.1 部署环境说明mon组件部署： ceph-xxx-osd00, ceph-xxx-osd01, ceph-xxx-osd02osd组件部署： ceph-xxx-osd00, ceph-xxx-osd01, ceph-xxx-osd02，ceph-xxx-osd03, ceph-xxx-osd04磁盘： SATAceph版本： ceph 12.2.2 b...
原创
2021-04-20 10:21:48
1586阅读
分布式存储系统面临的需求比较复杂，大致可以分为三类：非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频、视频信息等。结构化数据：一般会存储在关系型数据库中，可用二位关系的表结构来对数据进行描述，数据的模式需要预先进行定义。半结构化数据：介于结构化数据和半结构化数据直接，HTML文档就属于半结构化数据。它一般是自描述的，与结构化数据的最大区别之处在于，半结构化的数据模式和内容混在一起，没有
转载
2023-11-19 17:21:39
124阅读
什么是分布式系统？ 简单来说，多台主机提供同一个服务，例如负载均衡集群，就是一个分布式系统。 什么是分布式存储？ 看看某宝，上面多少图片，如果使用传统的单机存储，需要准备多大的磁盘空间？读写性能如何提升？ 上图就是一个分布式存储的结构，此处存储节点不在是磁盘，而是多个主机组成，多个主机内部通信实现数据副本，客户端发来的请求发往前端，前端分发至后端，有点像负载均衡集群中的调度器（此处描述不精确，但便
转载
2023-10-16 21:44:56
171阅读
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
转载
2024-04-29 12:57:16
118阅读
分布式文件存储1 FastDFS介绍FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆(happyfish100)，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用。该软件作者是阿里巴巴大牛、
转载
2024-01-30 06:05:11
96阅读
目录一、分布式文件系统二、FastDFS简介三、FastDFS整体架构四、文件上传流程 五、文件下载流程六、文件删除流程七、文件同步机制八、总结一、分布式文件系统分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存
转载
2024-03-04 07:16:21
53阅读
