本课时主题为分布式数据存储，知识架构图如下所示。本课时主要包括以下内容：MySQL 复制，有主从复制和主主复制两种；数据分片（或称数据分区），具体为数据分片的原理、分片的方案、分片数据库的扩容；数据库分布式部署的几种方案；NoSQL 中的 CAP 原理，分布式系统的最终一致性及其实现方案。MySQL 数据库复制主从复制MySQL 的主从复制，顾名思义就是将 MySQL 主数据库中的数据
转载
2023-10-04 19:19:41
99阅读
随着云计算和大数据技术的发展，集群分布式存储在现代系统架构中扮演着越来越重要的角色。Kubernetes（K8S）作为一个优秀的容器编排平台，也提供了多种集群分布式存储的解决方案。本文将向您介绍如何通过Kubernetes实现集群分布式存储，并通过代码示例详细说明每一步的操作。
### 步骤概览
下面是实现集群分布式存储的主要步骤，包括创建存储类、创建持久卷声明（PVC）、创建持久卷（PV）以及
原创
2024-05-08 10:17:30
92阅读
背景数据库作为一个非常基础的系统，任何一家互联网公司都会使用，数据库产品也很多，有Oracle、SQL Server 、MySQL、PostgeSQL、MariaDB等，像SQLServer/Oracle 这类数据库在初期可以帮业务搞定很多棘手的事情，我们可以花更多的精力在业务本身的发展上，但众所周知也得交不少钱。涉及到钱的事情在公司发展壮大以后总是会回来重新审视这个事情的，在京东早期发展的过程中
转载
2024-01-28 01:49:58
56阅读
# Redis是一个分布式缓存系统
## 介绍
Redis是一个开源的、高性能的键值对数据库。它主要用作缓存服务器，可以用来存储和检索数据。由于它的高性能和可扩展性，Redis被广泛用于各种场景，如缓存、会话存储、排行榜等。
## 分布式 vs 集群
在分布式系统中，数据被分散存储在多个节点上，每个节点只存储部分数据。分布式系统的目标是通过并行处理和数据分片来提高性能和可扩展性。
在集群
原创
2023-10-05 16:08:41
43阅读
mongodb的安装1. 创建MongoDB数据库实验环境 要求：服务器地址：localhost（127.0.0.1）服务端口：27027存储目录命名：你的姓名拼音首字母日志文件：放在存储目录下，以mongod.log命名在CMD管理员运行：// 创建目录
mkdir D:\xpc\db
// 启动+配置环境
start "MongoDBServers" mongod --dbpath=D:\xp
转载
2023-09-25 10:38:03
92阅读
目标数据存储资源是系统中最重要的组成部分，数据即一切，尤其分布式领域，主要关注以下几点：高可用性，当遇到网络或者系统故障时，系统仍然保持可用高扩展，当数据规模变大时，数据存储系统能够自动适应这种变化高性能，当数据规模和访问规模变大时，性能不受大的影响成本，通过成本反映出系统设计是合理的安全，遇到各种系统和人为故障时，数据不丢失MySQLMySQL是OLTP关系型数据库，支持ACID事务，是最主要的
转载
2024-06-16 19:55:47
62阅读
mysql第一讲 架构组成1. 二进制安装即可 windows 下的mysql 主要的配置文件是my.ini文件 linux 下mysql 的主要配置文件是my.cnf文件一般安装之后就在/etc/my.cnf 在linux下查看安装目录 ps -ef|grep mysql 强调一下:企业当中一般会选择
转载
2024-10-22 14:24:41
14阅读
大数据基础 1.什么是大数据 短时间内快速的产生海量的多种多样的有价值的数据 2.大数据技术 2.1 分布式存储 2.2 分布式计算 ① 分布式批处理（无法实现预测） 存一段时间的数据，等到将来某一时刻时再进行处理 ② 分布式流处理（实时处理）（无法实现预测） 数据不需要攒，直接处理，每产生一条数据，立马对这条数据进行处理。 2.3 机器学习 可以实现预测 3.分布式存储原理 3.1主要概念：元数
转载
2023-12-06 23:25:30
108阅读
1、MySQL分布式的作用MySQL分布式存储可以将用户请求操作分发到不同服务器下解决连接数过高问题。并且也可以将庞大的数据切割到不同的数据表下2、MySQL中的分区2.1、分区的分类2.1.1求余算法根据数据表字段进行对应算法的处理之后取模，最终决定数据所存储的“数据表”。1)key算法：按照内置的key算法运算数字2)hash算法：按照内置的hash算法运算数字2.1.2、范围区间算法1)li
转载
2023-10-04 11:22:50
42阅读
小故事网友大喝：标题竟敢胡言乱语？MySQL作为全世界最流行的数据库，30余年历史，怎么可能一无是处?ChatGPT回答说：哈哈，你说得对！MySQL作为全世界最流行的数据库，确实有着令人难以忽视的历史和优势。就像一位老资格的数据库大佬一样，它在数据存储和管理方面功力深厚，让数据如鱼得水。但是，有时候也会有一些小插曲，就像人类一样，有时候也会犯点小错误。不过，这只能证明MySQL也是有
文章目录什么是redis？redis单线程问题Redis特点Redis的作用及应用比较重要的3个可执行文件redis的数据结构redis的数据类型，以及每种数据类型的使用场景redis的过期策略以及内存淘汰机制redis和数据库双写一致性问题如何应对缓存穿透和缓存雪崩问题如何解决redis的并发竞争key问题redis中支持事务吗？redis发布订阅 参考： 什么是redis？Redis 是
转载
2023-08-10 14:30:51
59阅读
在Kubernetes（K8S）中实现分布式集群云存储是一项非常重要的工作，它可以帮助我们管理大量数据并确保数据的高可用性和可靠性。在本文中，我将向你介绍如何在Kubernetes集群中实现分布式集群云存储，包括整个实现流程以及每个步骤所需的代码示例。
### 实现流程
下面是整个实现分布式集群云存储的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 配置存储提供
原创
2024-04-26 09:20:57
62阅读
**分布式存储集群部署**
**背景介绍：**
分布式存储集群部署是指将大规模数据存储在多台服务器上的一种架构方式，可以提供高可用性、可伸缩性和可靠性。Kubernetes（K8S）是一个开源的容器编排引擎，可以简化和自动化部署、扩展和管理容器化应用程序。
**步骤概览：**
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装和配置Kubernetes集群 |
| 2
原创
2024-05-08 10:18:11
116阅读
「后端分布式」包括「分布式存储」和 「分布式计算」两大类。结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。为了更有效率与效果的用好技术，我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理，并将开源技术产品和框架作为一类技术的参考实现来讲解。以讲清原理为主要目的，对于具体实现的技术细节若无特别之处则尽可能点到即止。事务与复
转载
2023-08-15 10:00:28
125阅读
分布式mysql数据库使用单master多slave的架构。通过master和slave的replication，让应用程序服务器通过负载均衡器去查询slave。这样就能将查询分散到多台服务器上。
此时，应用程序实现上应当只把select等读取类的查询发送给负载均衡器，而更新查询应当直接发给master。要是在slave上执行更新查询，slave和master的内容就无法
转载
2023-06-30 19:40:25
92阅读
概述集群和分布式概念集群概念：将多台服务器集中在一起，处理相同的业务；具有可扩展性、高可用性。 狭义集群概念就是多台服务器聚集在一起，每个服务器都处理相同的业务。 广义集群概念就是多台服务器聚集在一起，服务器可能处理相同的业务和不同的业务。 集群可能是分布式与非分布式的。 分布式概念：不同的业务分布在不同的节点，每个节点都可以使用集群处理。 分布式窄意上讲和集群相似，组织比较松散，不像集群那样有组
转载
2023-08-07 20:01:48
157阅读
10、分布式锁使用mysql实现是的，MySQL可以用于实现分布式锁。虽然MySQL是一个关系型数据库，主要用于存储和管理数据，但它也可以用于实现简单的分布式锁机制。一种常见的方法是使用MySQL的行级锁和事务机制。具体步骤如下：创建一个专门用于存储锁信息的表，通常包含以下字段：锁名称、锁持有者、锁创建时间等。在获取锁时，通过执行INSERT语句向锁表中插入一条记录。由于MySQL的行级锁机制，只
转载
2023-08-10 13:17:05
166阅读
准备搭建集群和ceph的条件：所有节点必须处于同一网络中，最好有用作集群和存储的独立的网卡和交换机日期和时间必须同步，最好使用NTP服务同步时间，参考：ProxmoxVE5.4.1配置镜像源和NTP校时
高可用（HA）技术至少需要3个节点ceph分布式存储尽量避免组建RAID，裸盘使用即可一、创建PVE集群在任意节点创建即可 创建完毕后点击加入信息查看并复制加入信息二、加入PVE集群在其他节点执行
转载
2024-02-02 09:54:23
88阅读
# 主从架构属于分布式吗？
在计算机科学中，分布式系统是指多个计算节点共同工作以完成某些任务的系统。主从架构（Master-Slave Architecture）是分布式系统中的一种常见设计模式，它将系统分为主节点和从节点。在本文中，我们将探讨主从架构是否属于分布式系统的问题，通过一些代码示例来加深理解。
## 主从架构简介
在主从架构中，主节点负责协调和管理任务，而从节点则执行由主节点分配
在微服务的时代，分布式事务是绕不开的话题，尽管在大多数场景下，我们并不需要使用分布式事务，但是 不需要使用 不代表 可以不会使用，万一哪天真需要用到了呢？分布式事务是一个比较大的话题，今天我们来看看基于MQ的分布式事务解决方案。在实际开发中，为了简化分布式事务，我们和其他服务交互，经常会采用MQ的方式，我们先来看下如果采用MQ的方式和其他服务进行交互，应该怎么做。采用MQ的方式和其他服务进行交互基
转载
2024-09-26 15:00:41
20阅读
