前言公司前端大佬因为某些原因离职了，走的比较匆忙，自己之前一直很少接触这方面的东西，一直都是一知半解。这两天我一边学，一边动手搭建，同时记录整个搭建过程。这是一系列文章，从搭建 Gitlab 到 安装、注册Gitlab-runner 再到二者结合去部署一个简单的项目，通过这几篇文章，你将学会如何在 Gitlab 上自动化打包部署自己的项目。系列文章一共有四篇，包括：如何在阿里云上安装Gitlab安
转载
2024-03-20 20:23:53
234阅读
分布式存储方案是指将数据存储在多台机器上，通过网络连接，使得这些机器看起来是一个整体。在Kubernetes（K8S）中，可以通过使用不同的分布式存储方案来实现数据的存储和管理。在本文中，我将介绍如何在Kubernetes集群中实现分布式存储方案，并提供相关的代码示例来帮助你理解整个过程。
在实现分布式存储方案的过程中，我们可以采用以下步骤：
| 步骤 |
原创
2024-04-24 12:22:41
50阅读
Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。 在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。 RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。Ceph特点• 高性能 a. 摒弃了传统的集中式存储元
转载
2024-06-20 14:52:21
100阅读
一、问题1~2亿条数据需要缓存，请问如何设计这个存储案例？单机单台100%不可能，肯定是分布式存储，用redis如何落地？二、哈希取余分区1. 是什么2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式：hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。2.优点简单粗暴，直接有效，只需要预估好数据规划好
转载
2023-08-30 09:15:47
93阅读
MFS 分布式对象存储高级存储：块存储、对象存储块存储：将服务器上的底层存储资源共享给多个客户端使用，使用集群模式进行存储空间管理对象存储：将多台服务器的存储资源交由一个统一的管理中心进行调度，有调度中心决定数据存储的方案 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
转载
2024-01-11 15:26:07
62阅读
# 实现Redis分布式存储方案
## 概述
Redis是一种高性能的key-value存储系统，适用于多种应用场景，但在大规模应用中，单个Redis实例容易成为性能瓶颈，因此需要使用Redis分布式存储方案来应对高并发的需求。在本文中，我们将介绍如何通过K8S来实现Redis分布式存储方案。
### 步骤概览
| 步骤 | 描述 |
|----------|-----------------
原创
2024-04-24 12:23:46
93阅读
# 数据分布式存储方案是现代软件开发领域中非常重要的一部分，特别是在使用Kubernetes（K8S）进行容器化部署的场景下。在本文中，我们将讨论如何实现数据分布式存储方案，并通过代码示例来演示每个步骤的具体操作。
## 数据分布式存储方案流程图
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建K8S集群 |
| 2 | 部署分布式存储系统 |
| 3
原创
2024-05-20 10:45:41
97阅读
分布式存储部署方案是在Kubernetes（K8S）平台上实现高可用性和可扩展性的关键组成部分。在本文中，我将与你分享如何实现分布式存储部署方案，并通过代码示例来帮助你快速掌握这一技术。
### 分布式存储部署方案步骤
| 步骤 | 操作 |
|------|------|
| 1 | 部署存储节点 |
| 2 | 创建存储卷 |
| 3 | 部署应用程序 |
| 4 | 挂载存储卷到应用程序
原创
2024-04-24 12:23:22
155阅读
一、概述普通存储方案：Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块)，Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大，而SAN存储价格又比较昂贵，因此大多会选择分布式存储来解决一下问题：海量数据存储问题数据高可用问题(冗余
转载
2023-09-06 21:21:47
275阅读
文章目录MongoDB体系结构NoSQL和MongoDBMongoDB体系结构MongoDB 和RDBMS(关系型数据库)对比什么是BSONBSON在MongoDB中的使用MongoDB在Linux的安装和配置Mongodb GUI工具MongoDB命令MongoDB的基本操作MongoDB集合数据操作（CURD）数据添加数据查询数据更新数据删除MongoDB聚合操作聚合操作简介MongoDB
转载
2023-10-16 22:50:21
67阅读
在分布式存储里面，比较常见的有kafka,Hbase,HDFS,fastDFS等，这里面涉及到文件的分布式存储以及数据的分布式存储。分布式存储的背景：就是将数据文件分散的存储到分布式集群的每一个节点，提升了存储的容量（大数据化）；同时尽量凸显分布式的检索能力。分布式存储的原理：分层化的hash映射、数据组织的数据摘要以及块数据的叶子索引结构；这几种数据结构相结合的方式提供快速检索的能力和存储结构。
转载
2024-03-04 06:09:15
23阅读
面试题：1~2亿条数据需要缓存，请问如何设计这个存储案例？上述问题阿里P6~P7工程案例和场景设计类必考题目， 一般业界有3种解决方案。目录1、哈希取余分区优点：缺点：2、一致性哈希算法分区3大步骤：算法构建一致性哈希环服务器IP节点映射key落到服务器的落键规则优点：缺点：总结：3、哈希槽分区能干什么多少个hash槽哈希槽计算 1、哈希取余分区2亿条记录就是2亿个key、values，
转载
2023-08-11 10:37:56
56阅读
混合硬件架构方案建议考虑成本，选择SSD与HDD混合硬件架构方案一：使主本数据放在SSD OSD，副本数据放在HDD OSD，编写新的crush rule方案二：存储池分配优先级，通过编写crush rule来实现，冷热数据分离方案三：分层存储，ceph缓存代理技术方案四：SSD固态盘分配block_db和block_wal分区做加速参考：Ceph分布式存储混合硬件架构方案Ceph最佳实践节点硬件
转载
2023-07-17 14:28:08
582阅读
本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点
转载
2017-06-29 15:13:00
225阅读
2评论
常用分布式解决方案基本概念集中式存储传统的存储也称为集中式存储， 从概念上可以看出来是具有集中性的，也就是整个存储是集中在一个系统中的，但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。集中式存储 最大的特点是有一个统一的入口，所有数据都要经过统一的入口。分布式存储分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来提供使用与大规模，高并发场景下的 Web 访问问题。它 采用可
转载
2023-07-27 20:57:49
173阅读
mogileFS是一个散播式文件存储的办理方案，他由Six Apart开拓下面列出了他的一些特性（由mogileFS页面 先容翻译而来） 1. 操纵层——不必要出格的核心组件 2. 无单点失败——MogileFS安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个 呆板上，因此没有单点失败。（你也可以将跟踪器和存储节点运行在同一台呆板上，如许你就没有须要用4台呆板）推举至少两台呆板
转载
2024-01-18 17:32:13
34阅读
问题导读：1. Presto是什么？2. Presto在企业中有哪些应用场景？3. Presto的技术架构是怎么样的？一、Presto简介【1】Presto概念Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题注意：虽然Presto可以解析SQL，但它
转载
2023-12-27 14:27:13
35阅读
1、分布式优势1.minio分布式介绍 分布式模式下的MinIO使您可以将多个驱动器（甚至在不同的计算机上）合并到一个对象存储服务器中。由于驱动器分布在多个节点上，因此分布式MinIO可以承受多个节点故障，但仍可以确保完整的数据保护。 分布式模式下的MinIO可以帮助您通过单个对象存储部署来设置高可用性存储系统。借助分布式MinIO，无论存储设备在网络中的位置如何，您都可以最佳地使用存储设备。
原创
2019-12-13 16:28:41
8933阅读
主从机器上配置了200G内存，但是业务需求是需要500G的时候（数据容量的问题）故障转移+冗余备份，每个redis实例也是全量存储，存储内容都是完整的数据，浪费内存且有木桶效应） 解决办法：采用集群，分布式存储，每台redis存不同的内容 Redis分布式方案一般有两种1）客户端分区方案&nb
转载
2023-08-05 21:01:45
134阅读
# 分布式存储系统方案
## 介绍
分布式存储系统是一种能够在多台机器上存储大量数据，并且能够提供高可用性和高性能的系统。在Kubernetes(K8S)中，我们可以利用一些开源的分布式存储系统方案来满足应用程序的存储需求。
## 步骤
下面是实现分布式存储系统方案的整个流程，我们将使用Rook作为例子来展示如何在Kubernetes中搭建一个分布式存储系统：
| 步骤 | 操作 |
|--
原创
2024-04-24 12:23:09
111阅读
