仅仅是个人学习的过程，发现有问题欢迎留言 一、celery 介绍celery是一种功能完备的即插即用的任务对列celery适用异步处理问题，比如上传邮件、上传文件、图像处理等比较耗时的事情异步执行，这样用户不需要等待很长的时间，提高用户的体验celery是由python语言编写的，但是可以使用于许多语言，比如js、PHP等二、celery的特点：简单，易于使用和维护，有丰富的文档高效，单
转载
2023-10-08 14:49:24
103阅读
Redis的分布式锁和事务是常用的并发控制机制，可以有效地避免多个客户端同时对同一资源进行修改或操作时出现的数据竞争问题。分布式锁 分布式锁的作用是确保在分布式系统中，对同一资源的操作只有一个客户端在执行，避免出现并发冲突的情况。在Redis中，可以通过setnx命令（set if not exists）实现分布式锁。当一个客户端想要获得锁时，它会尝试通过setnx命令向Redis服务器发送一个写
转载
2024-02-19 02:28:34
75阅读
在很多互联网产品应用中，有些场景需要加锁处理，比如：秒杀，全局递增ID，楼层生成等等。大部分的解决方案是基于DB实现的，Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问，且多客户端对Redis的连接并不存在竞争关系。其次Redis提供一些命令SETNX，GETSET，可以方便实现分布式锁机制。Redis命令介绍使用Redis实现分布式锁，有两个重要函数需要介绍SETNX命令（SET
转载
2024-09-03 08:59:47
18阅读
文章目录1. 安装命令:2. 检查是否安装完成3. 创建项目:4. 创建两个应用:5. 添加应用6. 配置URL7. template7.1 模版冲突解决方案:7.2 模版过滤器8. models(ORM)9. 强大的后台,admin10 `settings.py`文件配置使用说明11. 分页功能12.个人总结的 项目开发流程 1. 安装命令:pip install django==2.2.12
转载
2023-11-19 13:04:43
150阅读
目录模型（Model）的设计Django models def __str__(self)有什么作用？Django Model中字段(Field)的可选项和必选项 一个复杂点的Django Model模型常见的Django Model META类选项URL的设计与配置Django URL传递参数的方法path和_re_pathURL的命名及reverse()方法URL如何指向基于类的视图
转载
2023-07-11 21:11:26
131阅读
昨天一个很好的面试官问我你在python中怎么实现定时任务呢？我没回答好，我问了下原来有个叫celery的东西，感觉挺好用的 Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis 创建一个celery applicati
原创
2021-05-20 17:05:22
1054阅读
Jenkins集成Django前言一、Jenkins配置1、创建项目2、配置3、构建环境4、构建二、Shell脚本1、Start.sh脚本2、更新文件3、待完善三、总结1、我做了一件什么事？2、这件事有什么用？3、出现了哪些问题？是否解决？是否明确了问题出现的根本原因？4、学到了哪些知识点？ 前言将Django集成到Jenkins，Djaong和Jenkins都部署在Docker中一、Jenki
转载
2024-03-22 21:00:14
67阅读
1.调度平台简介2.xxl-job简介3.代码模拟演示 1.调度平台简介为什么需要调度平台当然是程序的发展，需要引入统一任务治理1,每个服务器各个服务下的任务管理混乱，生命周期无法统一协调管理2,定时任务运行异常告警难以统一对接3,随着时间增长，当定时任务达到几千上万的时候，定时任务就非常难以管理，线上跑了多个定时任务，每个定时任务什么时候运行，属于哪个应用和哪个开发负责等等问题变得很难
应用在Django项目中是一个独立的业务模块，可以包含自己的路由、视图、模板、模型。创建应用
原创
2023-02-17 08:39:56
57阅读
今天学习了分布式爬虫和爬虫的部署，分布式爬虫也叫scrapy_redis,Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式,我们使用命令： pip3 install scrapy-redis来安装，Scrapy-redis提供了下面四种组件：Scheduler2.Duplication Filter3.Item P
转载
2024-05-30 07:47:39
62阅读
分布式 RPC 框架 Apache Dubbo1. 软件架构的演进过程1.1 单体架构1.2 垂直架构1.3 SOA 架构1.4 微服务架构2. Apache Dubbo 概述2.1 Dubbo 简介2.2 Dubbo 架构3. 服务注册中心 Zookeeper3.1 Zookeeper 介绍3.2 安装 Zookeeper3.3 启动、停止 Zookeeper4. Dubbo 快速入门4.1
转载
2023-10-01 15:29:58
158阅读
分布式使用 首先必须安装scrapy_redis组件pip install scrapy_redis1、scrapy和scrapy_redis的区别 scrapy是一个通用的爬虫框架，不支持分布式 scrapy_re
转载
2023-09-05 13:45:17
72阅读
这一篇主要介绍python中各异步/网络/分布式框架，教你如何不使用scrapy/pyspider进行异步/分布式爬虫。可能你会觉得，为什么有scrapy不用，要自己用别的库手写爬虫呢？其实很简单，scrapy是一个别人写好的框架，优点是提供了很多别人写好的接口，也可以通过简单的代码来自定义很多功能，而缺点其实也在于此，有些简单的功能其实只需要几行代码就能做到，而到了scrapy中你可能要用十多行
01-基于Redis的分布式爬虫（基于RedisCrawlSpider类）分布式爬虫：
1.概念：多台机器上可以执行统一爬虫程序，实现网站数据的分布式爬取。
2.原生的scrapy 是不可以实现分布式爬虫的。
2.1 调度器无法共享
2.2 管道无法共享
3. scrapy-redis组件：专门为scrapy开发的组件。实现分布式
转载
2023-10-07 12:54:37
346阅读
点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文It is our choices... that show what ...
转载
2021-06-11 00:15:55
1703阅读
一、分布式session session 是啥？浏览器有个 cookie，在一段时间内这个 cookie 都存在，然后每次发请求过来都带上一个特殊的 jsessionid cookie，就根据这个东西，在服务端可以维护一个对应的 session 域，里面可以放点数据。 一般的话只要你没关掉浏览器，cookie 还在，那么对应的那个 session 就在，但是如果 cookie 没了，sessi
转载
2021-03-28 12:45:06
1611阅读
# 入门Python分布式编程
作为一名刚入行的开发者，你可能对分布式编程感到困惑。不用担心，这篇文章将带你了解如何使用Python实现分布式编程。我们将从基本概念开始，逐步引导你完成一个简单的分布式任务。
## 分布式编程简介
分布式编程是一种编程范式，它允许多个计算机或节点协同工作，共同完成一个任务。在Python中，我们可以使用多种方法实现分布式编程，如多进程、多线程、异步IO等。
原创
2024-07-18 05:09:30
16阅读
消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给消费者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消 ...
转载
2021-08-26 10:38:00
1873阅读
2评论
分布式系统是一种使用多台计算机协同工作来完成共同目标的系统。而Kubernetes（K8S）是一种开源的容器编排工具，可以帮助我们管理这些分布式系统。在本文中，我将详细介绍如何使用Kubernetes实现一个分布式系统。
整个流程可以分为以下几个步骤：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 配置Kube
原创
2024-05-22 09:54:17
377阅读
1. 介绍scrapy-redis框架scrapy-redis
一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能。
github地址： https://github.com/darkrho/scrapy-redis2. 分布式原理核心服务器称为master，而把用于跑爬虫程序的机器称为slave我们知道，采用scrapy框架抓取网页
转载
2023-10-08 15:31:15
71阅读
