好久没有写技术文章了，因为一直在思考 「后端分布式」这个系列到底怎么写才合适。最近基本想清楚了，「后端分布式」包括「分布式存储」和 「分布式计算」两大类。结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。为了更有效率与效果的用好技术，我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理，并将开源技术产品和框架作为一类技术
Scrapy单机架构在这里scrapy的核心是scrapy引擎，它通过里面的一个调度器来调度一个request的队列，将request发给downloader，然后来执行request请求但是这些request队列都是维持在本机上的，因此如果要多台主机协同爬取，需要一个request共享的机制——requests队列，在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数
转载
2024-06-04 17:26:44
23阅读
1.背景介绍1. 背景介绍分布式事务是现代分布式系统中的一个重要问题，它涉及到多个不同的数据源和服务之间的事务处理。Spring Boot 是一个用于构建微服务架构的框架，它提供了一些工具和库来帮助开发者实现分布式事务。在这篇文章中，我们将深入探讨 Spring Boot 如何处理分布式事务，以及如何在实际应用中实现分布式事务。2. 核心概念与联系2.1 分布式事务的定义分布式事务是指在多个不同的
# 分布式改造部署架构科普
随着业务需求的不断增长，传统的单体应用架构逐渐显得力不从心。为了提升系统的可扩展性和可维护性，分布式架构应运而生。本文将介绍分布式改造部署架构的基本概念，以及相关的代码示例，帮助大家更好地理解这一技术趋势。
## 什么是分布式架构？
分布式架构是一种将系统组件分散到多个服务器中的设计模式。它允许开发者以模块化的方式构建应用，使得不同的功能可以独立地进行扩展与维护。
简单讲：集群：多个人在一起作同样的事 。分布式 ：多个人在一起作不同的事区别联系1)分布式是指 多个系统协同合作完成一个特定任务的系统。分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。所以把一个大的问题拆分为多个小的问题，并分别解决，最终协同合作。分布式的主要工作是分解任务，将职能拆解。2) 集群主要的使用场景是为了分担请求的压力，也就是在几个服务器上部署相同的应用程序，来分
转载
2023-09-04 13:29:16
72阅读
最近对项目进行分布式改造： 1.缓存支持分布式（ecache支持配置分布式或redis实现。） 2.锁机制支持分布式（zookeeper或redis实现） 3.session支持分布式（阿里云用https://help.aliyun.com/document_detail/27704.html?spm=5176.product27537.6.606.nrn3ce），本地测试的话，可以用redi
原创
2021-05-12 12:19:20
374阅读
最近对项目进行分布式改造： 1.缓存支持分布式（ecache支持配置分布式或redis实现。） 2.锁机制支持分布式（zookeeper或redis实现） 3.session支持分布式（阿里云用https://help.aliyun.com/document_detail/27704.html?spm=5176.product27537.6.606.nrn3ce），本地测试的
原创
2022-03-07 10:46:24
182阅读
上面已经介绍了主从的方式，在这里完善一下。主从分布的优点是实现了备份和读写分离，master只需要专门负责写操作，读操作交给slave来执行，然后主从数据库通过bin_log来异步更新，当然这样也会有一个数据不同步的情况，那可以改成同步的吗？当然，mysql有一个半同步的方式，当写请求来到master上之后，必须保证至少一台slave更新了数据，才会返回写成功的信号，当然这种情况下，对于效率会有一
转载
2024-04-11 08:17:41
44阅读
在分布式系统里，我们有时执行定时任务，或者处理某些并发请求，需要确保多点系统里同时只有一个执行线程进行处理。分布式锁就是在分布式系统里互斥访问资源的解决方案。通常我们会更多地使用Redis分布式锁、Zookeeper分布式锁的解决方案。本篇文章介绍的是基于MySQL实现的分布式锁方案，性能上肯定是不如Redis、Zookeeper。对性能要求不高，并且不希望因为要使用分布式锁而引入新组件的时候，就
转载
2023-11-01 18:25:17
57阅读
MySQL里面的分布式方案其实挺丰富的，今天来简单说下对分布式方案的理解。 首先数据库是一个软件，最基础的功能就是数据存储和数据查询。对于数据的处理方式如果通泛来说是分为读和写，所以分布式方案的很多场景其实也是围绕着这两个维度来做的。 在开始分布式方案前，要说下为什么要有分布式方案。如果单机可以解决的事情，其实完全没有必要去再考虑分布式了。如果要分，其实就不能再很自然的合起来，
转载
2024-05-14 20:29:24
21阅读
分布式mysql数据库使用单master多slave的架构。通过master和slave的replication，让应用程序服务器通过负载均衡器去查询slave。这样就能将查询分散到多台服务器上。
此时，应用程序实现上应当只把select等读取类的查询发送给负载均衡器，而更新查询应当直接发给master。要是在slave上执行更新查询，slave和master的内容就无法
转载
2023-06-30 19:40:25
92阅读
分布式系统中，一个避不开的话题，就是在很多情况下，我们需要用到分布式锁。 那分布式锁，通常有哪几种实现方式呢？ 分布式锁的实现方式，通常有三种，数据库实现，Redis实现，Zookeeper实现。 我们将分三篇文章来分别介绍这三种实现。 首先要来介绍的是数据库版实现的分布式锁。我们看以下几个场景中，如何用mysql数据库来实现一个分布式锁。场景1：我们曾经做的一个贷款系统，在用户借款前，需要给用户
转载
2023-08-18 14:46:52
8阅读
作者 | 陈树义MyCat 是一个数据库分库分表中间件，使用 MyCat 可以非常方便地实现数据库的分库分表查询，并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍 MyCat 的诞生背景，以及 MyCat 在其中扮演的角色，从而使得大家对 MyCat 的诞生及其作用有深入的理解。 1
单数据库架构
一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快
概述集群和分布式概念集群概念：将多台服务器集中在一起，处理相同的业务；具有可扩展性、高可用性。 狭义集群概念就是多台服务器聚集在一起，每个服务器都处理相同的业务。 广义集群概念就是多台服务器聚集在一起，服务器可能处理相同的业务和不同的业务。 集群可能是分布式与非分布式的。 分布式概念：不同的业务分布在不同的节点，每个节点都可以使用集群处理。 分布式窄意上讲和集群相似，组织比较松散，不像集群那样有组
转载
2023-08-07 20:01:48
157阅读
1、集群环境 管理节点（MGM）：这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据，并停止节点，运行备份等。由于这类节点负责管理其他节点的配置，应该在启动其他节点之前启动这类节点。MGM节点是用命令“ndb_mgmd”启动的； 数据节点（NDB）：这类节点用于保存Cluster的数据，数据节点的数目与副本的数目相关，是片段的倍数
转载
2023-07-09 15:31:06
147阅读
改造ThemeMicroService 支持分布式事务
原创
2018-11-03 11:46:35
2376阅读
# MySQL分布式架构探讨与实现
## 引言
在信息技术迅猛发展的今天，数据的存储与管理对于企业的运营至关重要。随着数据量的激增，传统的单一数据库架构面临着性能和可扩展性的瓶颈。因此，MySQL分布式架构应运而生，帮助企业在保障数据完整性和一致性的同时，实现数据的高可用性和可扩展性。本文将探讨MySQL分布式架构的基本概念、特点及实现方式，并通过代码示例和流程图进行说明。
## MySQL
分布式锁应该具备哪些条件：1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行； 2、高可用的获取锁与释放锁； 3、高性能的获取锁与释放锁； 4、具备可重入特性； 5、具备锁失效机制，防止死锁； 6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。 常见的分布式锁解决方案如下：基于数据库实现分布式锁 基于ZooKeeper实现分布锁 基于缓存（Redis等）实现分布式锁 1
转载
2024-06-02 22:33:48
99阅读
分布式事务也是面试的一个高频知识点。1. 事务基本概念1.1 什么是事务？事务是恢复和并发控制的基本单位，事务有四个特性(ACID)，原子性(Atomicity)，一致性(Consistency)，隔离性(Isolation)，持久性(Durability)。1.2 事务经典场景假设这样一个场景：A 给 B 转账 100，流程步骤如下：1、A 减 1002、B 多 100。如果第一步骤执行后，系统
转载
2023-11-12 20:10:36
24阅读
MySQL5.0.3开始支持分布式事务，只支持InnoDB引擎。
1. 分布式事务原理
使用分布式事务的应用程序涉及一个或多个资源管理器和一个事务管理器。
资源管理器（RM）用于提供通向事务资源的途径，数据库服务器是一种资源管理器。该管理器必须可以提交或回滚由RM管理的事务。
转载
2023-08-15 16:22:44
75阅读
