仅仅是个人学习的过程，发现有问题欢迎留言 一、celery 介绍celery是一种功能完备的即插即用的任务对列celery适用异步处理问题，比如上传邮件、上传文件、图像处理等比较耗时的事情异步执行，这样用户不需要等待很长的时间，提高用户的体验celery是由python语言编写的，但是可以使用于许多语言，比如js、PHP等二、celery的特点：简单，易于使用和维护，有丰富的文档高效，单
转载
2023-10-08 14:49:24
103阅读
在很多互联网产品应用中，有些场景需要加锁处理，比如：秒杀，全局递增ID，楼层生成等等。大部分的解决方案是基于DB实现的，Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问，且多客户端对Redis的连接并不存在竞争关系。其次Redis提供一些命令SETNX，GETSET，可以方便实现分布式锁机制。Redis命令介绍使用Redis实现分布式锁，有两个重要函数需要介绍SETNX命令（SET
转载
2024-09-03 08:59:47
18阅读
文章目录1. 安装命令:2. 检查是否安装完成3. 创建项目:4. 创建两个应用:5. 添加应用6. 配置URL7. template7.1 模版冲突解决方案:7.2 模版过滤器8. models(ORM)9. 强大的后台,admin10 `settings.py`文件配置使用说明11. 分页功能12.个人总结的 项目开发流程 1. 安装命令:pip install django==2.2.12
转载
2023-11-19 13:04:43
154阅读
目录模型（Model）的设计Django models def __str__(self)有什么作用？Django Model中字段(Field)的可选项和必选项 一个复杂点的Django Model模型常见的Django Model META类选项URL的设计与配置Django URL传递参数的方法path和_re_pathURL的命名及reverse()方法URL如何指向基于类的视图
转载
2023-07-11 21:11:26
131阅读
简单讲：集群：多个人在一起作同样的事 。分布式 ：多个人在一起作不同的事区别联系1)分布式是指 多个系统协同合作完成一个特定任务的系统。分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。所以把一个大的问题拆分为多个小的问题，并分别解决，最终协同合作。分布式的主要工作是分解任务，将职能拆解。2) 集群主要的使用场景是为了分担请求的压力，也就是在几个服务器上部署相同的应用程序，来分
转载
2023-09-04 13:29:16
72阅读
Redis的分布式锁和事务是常用的并发控制机制，可以有效地避免多个客户端同时对同一资源进行修改或操作时出现的数据竞争问题。分布式锁 分布式锁的作用是确保在分布式系统中，对同一资源的操作只有一个客户端在执行，避免出现并发冲突的情况。在Redis中，可以通过setnx命令（set if not exists）实现分布式锁。当一个客户端想要获得锁时，它会尝试通过setnx命令向Redis服务器发送一个写
转载
2024-02-19 02:28:34
75阅读
在分布式系统里，我们有时执行定时任务，或者处理某些并发请求，需要确保多点系统里同时只有一个执行线程进行处理。分布式锁就是在分布式系统里互斥访问资源的解决方案。通常我们会更多地使用Redis分布式锁、Zookeeper分布式锁的解决方案。本篇文章介绍的是基于MySQL实现的分布式锁方案，性能上肯定是不如Redis、Zookeeper。对性能要求不高，并且不希望因为要使用分布式锁而引入新组件的时候，就
转载
2023-11-01 18:25:17
57阅读
MySQL里面的分布式方案其实挺丰富的，今天来简单说下对分布式方案的理解。 首先数据库是一个软件，最基础的功能就是数据存储和数据查询。对于数据的处理方式如果通泛来说是分为读和写，所以分布式方案的很多场景其实也是围绕着这两个维度来做的。 在开始分布式方案前，要说下为什么要有分布式方案。如果单机可以解决的事情，其实完全没有必要去再考虑分布式了。如果要分，其实就不能再很自然的合起来，
转载
2024-05-14 20:29:24
21阅读
上面已经介绍了主从的方式，在这里完善一下。主从分布的优点是实现了备份和读写分离，master只需要专门负责写操作，读操作交给slave来执行，然后主从数据库通过bin_log来异步更新，当然这样也会有一个数据不同步的情况，那可以改成同步的吗？当然，mysql有一个半同步的方式，当写请求来到master上之后，必须保证至少一台slave更新了数据，才会返回写成功的信号，当然这种情况下，对于效率会有一
转载
2024-04-11 08:17:41
44阅读
作者 | 陈树义MyCat 是一个数据库分库分表中间件，使用 MyCat 可以非常方便地实现数据库的分库分表查询，并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍 MyCat 的诞生背景，以及 MyCat 在其中扮演的角色，从而使得大家对 MyCat 的诞生及其作用有深入的理解。 1
单数据库架构
一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快
分布式mysql数据库使用单master多slave的架构。通过master和slave的replication，让应用程序服务器通过负载均衡器去查询slave。这样就能将查询分散到多台服务器上。
此时，应用程序实现上应当只把select等读取类的查询发送给负载均衡器，而更新查询应当直接发给master。要是在slave上执行更新查询，slave和master的内容就无法
转载
2023-06-30 19:40:25
92阅读
分布式系统中，一个避不开的话题，就是在很多情况下，我们需要用到分布式锁。 那分布式锁，通常有哪几种实现方式呢？ 分布式锁的实现方式，通常有三种，数据库实现，Redis实现，Zookeeper实现。 我们将分三篇文章来分别介绍这三种实现。 首先要来介绍的是数据库版实现的分布式锁。我们看以下几个场景中，如何用mysql数据库来实现一个分布式锁。场景1：我们曾经做的一个贷款系统，在用户借款前，需要给用户
转载
2023-08-18 14:46:52
8阅读
概述集群和分布式概念集群概念：将多台服务器集中在一起，处理相同的业务；具有可扩展性、高可用性。 狭义集群概念就是多台服务器聚集在一起，每个服务器都处理相同的业务。 广义集群概念就是多台服务器聚集在一起，服务器可能处理相同的业务和不同的业务。 集群可能是分布式与非分布式的。 分布式概念：不同的业务分布在不同的节点，每个节点都可以使用集群处理。 分布式窄意上讲和集群相似，组织比较松散，不像集群那样有组
转载
2023-08-07 20:01:48
157阅读
1、集群环境 管理节点（MGM）：这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据，并停止节点，运行备份等。由于这类节点负责管理其他节点的配置，应该在启动其他节点之前启动这类节点。MGM节点是用命令“ndb_mgmd”启动的； 数据节点（NDB）：这类节点用于保存Cluster的数据，数据节点的数目与副本的数目相关，是片段的倍数
转载
2023-07-09 15:31:06
147阅读
昨天一个很好的面试官问我你在python中怎么实现定时任务呢？我没回答好，我问了下原来有个叫celery的东西，感觉挺好用的 Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis 创建一个celery applicati
原创
2021-05-20 17:05:22
1054阅读
Jenkins集成Django前言一、Jenkins配置1、创建项目2、配置3、构建环境4、构建二、Shell脚本1、Start.sh脚本2、更新文件3、待完善三、总结1、我做了一件什么事？2、这件事有什么用？3、出现了哪些问题？是否解决？是否明确了问题出现的根本原因？4、学到了哪些知识点？ 前言将Django集成到Jenkins，Djaong和Jenkins都部署在Docker中一、Jenki
转载
2024-03-22 21:00:14
67阅读
应用在Django项目中是一个独立的业务模块，可以包含自己的路由、视图、模板、模型。创建应用
原创
2023-02-17 08:39:56
57阅读
1.分布式应用的概念和优势 分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。近年来，随着数据量的增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式存储，从集中式计算走向分布式
转载
2024-07-03 22:08:12
190阅读
前面几篇文章说道MySQL数据库的高可用方案主从复制、主从复制的延迟产生原因、延迟检测及延迟解决方案(并未从根本上解决)，这种主从复制方案保证数据的冗余的同时可以做读写分离来分担系统压力但是并非是高可用方案，因为主从节点中主节点仍然是单点的，一旦主节点宕机会导致应用中写失败。双主复制虽然很好的避免主节点的单点故障，但是未提供统一访问入口来实现负载均衡，如果其中master
转载
2024-08-31 14:18:32
7阅读
分布式锁应该具备哪些条件：1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行； 2、高可用的获取锁与释放锁； 3、高性能的获取锁与释放锁； 4、具备可重入特性； 5、具备锁失效机制，防止死锁； 6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。 常见的分布式锁解决方案如下：基于数据库实现分布式锁 基于ZooKeeper实现分布锁 基于缓存（Redis等）实现分布式锁 1
转载
2024-06-02 22:33:48
95阅读
