对计算机来讲，所谓的计算，不过是将存储在各个地方的数据通过数据总线进行传输，然后经过算术逻辑单元执行一系列预设好的规则，最终再将输出写入到某个位置。在计算能力有限、存储成本偏高的情况下，就需要利用好计算机的资源，让它的计算能力发挥出最大的价值，所以在编程初期用指令直接操作硬件，例如汇编语言中常见的操纵寄存器，本质上都是为了减少数据传输的时间，充分利用CPU的计算能力，避免因为数据的长时间传输导致C
原创
2021-04-27 21:59:54
658阅读
简单讲：集群：多个人在一起作同样的事 。分布式 ：多个人在一起作不同的事区别联系1)分布式是指 多个系统协同合作完成一个特定任务的系统。分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。所以把一个大的问题拆分为多个小的问题，并分别解决，最终协同合作。分布式的主要工作是分解任务，将职能拆解。2) 集群主要的使用场景是为了分担请求的压力，也就是在几个服务器上部署相同的应用程序，来分
转载
2023-09-04 13:29:16
72阅读
系统环境：Ubuntu 18.04.4 Docker 19.03.6一、MySQL读写分离主从模式1. 下载镜像docker pull mysql当前最新版本：mysql Ver 8.0.19 for Linux on x86_64 (MySQL Community Server - GPL)2. 启动主节点并修改配置文件docker run -it --name mysql -p 33
转载
2024-07-19 09:42:45
49阅读
MyCat 简介前面文章我们提到，如果数据量比较大的话，我们需要对数据进行分库分表，分完之后，原本存在一个数据库中的数据，现在就存在多个数据库中了，就像下面这样：那么此时 MyCat 所扮演的角色就是分布式数据库中间件！MyCat 是一个开源的分布式数据库中间件，它实现了 MySQL 协议，在开发者眼里，他就是一个数据库代理，我们甚至可以使用 MySQL 的客户端工具以及命令行来访问 MyCat
转载
2024-01-05 20:23:10
37阅读
目录MySQL分布式架构介绍环境准备MySQL多实例安装主从环境搭建数据准备Mycat安装初始基础配置文件读写分离+MHA再探配置文件垂直分表水平拆分范围分片(auto-sharding-long)取模分片(mod-long)枚举分片全局表E-R分片返回MySQL目录MySQL分布式架构介绍备份恢复 主从复制 MHA Atlas分布式架构演变
如下图，最开始我们的所有数据库都存到一个MySQL实例
转载
2023-07-10 15:27:45
151阅读
1.使用数据库进行分布式加锁行锁以mysql为例，进行举例 ：1.1 for update在mysql中使用for update获得行锁。for update是一种行级锁，又叫排它锁，一旦用户对某个行施加了行级锁，则该用户可以更新也可以查询也可以更新被加锁的数据行，其他用户只能查询，不能更新被加锁的数据行，如果其他用户想更新该表中的数据行，则也必须对表施加行级锁。释放行级：1.执行提交commit
转载
2023-08-13 18:15:01
333阅读
从hashMap/mysql/redis/到分布式1 HashMap问题：从一个大数组(10000)中，找到特定的X。通常的解答：都是循环遍历一遍，查找X，需要全量IO。优化把大数据量，分为小数据量(4个数字)的组合。组成了2500个4个小数组。分而治之
原创
2021-07-17 09:30:20
662阅读
前提 近些年来，分布式成为很火爆的研究方向，随着大型互联网系统的快速发展，集中部署到大型机上的体系越来越不能满足当今的计算机系统。随着微型计算机的出现，分布式的处理方式受到业界的青睐，计算机系统正在经历从集中式到分布式架构的变革。集中式20世纪60年代大型主机优越的性能和良好的稳定性，而且在
原创
2022-07-29 11:53:03
290阅读
MySQL里面的分布式方案其实挺丰富的，今天来简单说下对分布式方案的理解。 首先数据库是一个软件，最基础的功能就是数据存储和数据查询。对于数据的处理方式如果通泛来说是分为读和写，所以分布式方案的很多场景其实也是围绕着这两个维度来做的。 在开始分布式方案前，要说下为什么要有分布式方案。如果单机可以解决的事情，其实完全没有必要去再考虑分布式了。如果要分，其实就不能再很自然的合起来，
转载
2024-05-14 20:29:24
21阅读
上面已经介绍了主从的方式，在这里完善一下。主从分布的优点是实现了备份和读写分离，master只需要专门负责写操作，读操作交给slave来执行，然后主从数据库通过bin_log来异步更新，当然这样也会有一个数据不同步的情况，那可以改成同步的吗？当然，mysql有一个半同步的方式，当写请求来到master上之后，必须保证至少一台slave更新了数据，才会返回写成功的信号，当然这种情况下，对于效率会有一
转载
2024-04-11 08:17:41
44阅读
在分布式系统里，我们有时执行定时任务，或者处理某些并发请求，需要确保多点系统里同时只有一个执行线程进行处理。分布式锁就是在分布式系统里互斥访问资源的解决方案。通常我们会更多地使用Redis分布式锁、Zookeeper分布式锁的解决方案。本篇文章介绍的是基于MySQL实现的分布式锁方案，性能上肯定是不如Redis、Zookeeper。对性能要求不高，并且不希望因为要使用分布式锁而引入新组件的时候，就
转载
2023-11-01 18:25:17
57阅读
1、集群环境 管理节点（MGM）：这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据，并停止节点，运行备份等。由于这类节点负责管理其他节点的配置，应该在启动其他节点之前启动这类节点。MGM节点是用命令“ndb_mgmd”启动的； 数据节点（NDB）：这类节点用于保存Cluster的数据，数据节点的数目与副本的数目相关，是片段的倍数
转载
2023-07-09 15:31:06
147阅读
分布式mysql数据库使用单master多slave的架构。通过master和slave的replication，让应用程序服务器通过负载均衡器去查询slave。这样就能将查询分散到多台服务器上。
此时，应用程序实现上应当只把select等读取类的查询发送给负载均衡器，而更新查询应当直接发给master。要是在slave上执行更新查询，slave和master的内容就无法
转载
2023-06-30 19:40:25
92阅读
分布式系统中，一个避不开的话题，就是在很多情况下，我们需要用到分布式锁。 那分布式锁，通常有哪几种实现方式呢？ 分布式锁的实现方式，通常有三种，数据库实现，Redis实现，Zookeeper实现。 我们将分三篇文章来分别介绍这三种实现。 首先要来介绍的是数据库版实现的分布式锁。我们看以下几个场景中，如何用mysql数据库来实现一个分布式锁。场景1：我们曾经做的一个贷款系统，在用户借款前，需要给用户
转载
2023-08-18 14:46:52
8阅读
概述集群和分布式概念集群概念：将多台服务器集中在一起，处理相同的业务；具有可扩展性、高可用性。 狭义集群概念就是多台服务器聚集在一起，每个服务器都处理相同的业务。 广义集群概念就是多台服务器聚集在一起，服务器可能处理相同的业务和不同的业务。 集群可能是分布式与非分布式的。 分布式概念：不同的业务分布在不同的节点，每个节点都可以使用集群处理。 分布式窄意上讲和集群相似，组织比较松散，不像集群那样有组
转载
2023-08-07 20:01:48
157阅读
作者 | 陈树义MyCat 是一个数据库分库分表中间件，使用 MyCat 可以非常方便地实现数据库的分库分表查询，并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍 MyCat 的诞生背景，以及 MyCat 在其中扮演的角色，从而使得大家对 MyCat 的诞生及其作用有深入的理解。 1
单数据库架构
一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快
MyCat1、一个彻底开源的，面向企业应用开发的大数据库集群 2、支持事务、ACID、可以替代MySQL的加强版数据库 3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的
转载
2024-03-29 07:28:09
151阅读
大纲 第一 MYCAT 背景第二 MYCAT 发展第三 MYCAT 简介第四 MYCAT特性第五 MYCAT安装使用第六 MYCAT和COBAR 比较第七 参考 一，背景随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：（1）集中式处理，势必造成性能瓶
转载
2023-12-13 08:04:45
10阅读
MySQL高级(下):分库分表:可根据用户ID或者手机号hash计算来决定存储在哪个库,插入时,利用手机号进行hash算法,根据hash环来定位存储库
可根据时间维度,根据时间来确定存储在哪个库,比如一些流水数据.
可根据业务来进行分库存储.比如根据不同的记录对应的其他记录,可插入同一数据库
主键的选择:
UUID:性能较差
雪花SNOWFLAKE:比较优秀
数据一致性:
强一致性:XA
转载
2023-11-10 12:29:56
45阅读
MyCat 是一个数据库分库分表中间件，使用 MyCat 可以非常方便地实现数据库的分库分表查询，并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍 MyCat 的诞生背景，以及 MyCat 在其中扮演的角色，从而使得大家对 MyCat 的诞生及其作用有深入的理解。1单数据库架构一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快速实现。在这个阶段，代码开发人员
转载
2023-09-28 11:30:03
55阅读
