在一个Web App中，所有数据，包括用户信息、发布的日志、评论等，都存储在数据库中。在awesome-python3-webapp中，我们选择MySQL作为数据库。 Web App里面有很多地方都要访问数据库。访问数据库需要创建数据库连接、游标对象，然后执行SQL语句，最后处理异常，清理资源。这些访问数据库的代码如果分散到各个函数中，势必无法维护，也不利于代码复用。 所以，我们要首先把常用的S
转载
2023-11-07 12:47:03
8阅读
什么是异步及使用场景？写代码过程中，经常会碰到，某一个函数，可能需要执行很久，才会返回，那么，我们现在让程序在这里死等着让它执行完成，很影响代码性能，因此，需要借用异步处理！比如如下demodef my_func():
demo()
pass
def demo():
# long time
import time
import random
ti
转载
2023-08-14 23:45:29
50阅读
总线的异步通讯方式 异步通讯克服了同步铜须的缺点，允许各模块的速度不一致，给设计者充分的灵活性和选择余地。它没有公共的时钟标准，不要求所有部件严格的统一操作时间，而是采用应答方式(又称握手方式)，即当主模块发出请求信号时，一直等待从模块反馈回来“响应”信号后，才开始通信。这要求主从模块之间增加两条应答新。 &
转载
2023-08-12 23:03:01
136阅读
目前支持：
# Csdn自动回复机器人
# 20230405
####被动模式####
# 支持点赞、收藏回访
# 关注回访（对方至少有一条博客的记录）
# 评论回访
####主动模式####
# 私信检测到群发消息自动三连/满足模板设定给予三连触发
####bug优化及更新####
# 优化检测模式，防止出现多触发情况
# 为了防止操作额度不够，只处理最新发表的博客（第一条），不在继续往下操作
转载
2023-08-27 09:04:06
72阅读
在学习asyncio之前，先理清楚同步/异步的概念：同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行异步是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果asyncio函数：异步IO采用消息循环的模式，重复“读取消息—处理消息”的过程，也就是说异
转载
2023-10-19 11:40:18
73阅读
Python异步多线程首先，我们需要先明白同步和异步的区别：同步：同步是指一个进程在执行某个请求的时候，如果该请求需要一段时间才能返回信息，那么这个进程会一直等待下去，直到收到返回信息才继续执行下去。异步：异步是指进程不需要一直等待下去，而是继续执行下面的操作，不管其他进程的状态，当有信息返回的时候会通知进程进行处理，这样就可以提高执行的效率了，即异步是我们发出的一个请求，该请求会在后台自动发出并
转载
2023-07-01 10:53:29
482阅读
前言异步爬虫的目的：提高数据爬取的性能和效率异步爬虫的方式多线程/多进程
为相关阻塞的操作单独开启线程或进程，使得阻塞操作可以异步执行。但是由于资源有限，我们并不能无限制的开启多线程或多进程。线程池/进程池
可以降低系统为了创建和销毁线程或进程而产生的开销。但是池中的线程或进程仍然是有上限的。样式"""
使用进程池模拟异步爬虫
"""
import time
from multiprocessin
转载
2023-08-02 20:41:20
51阅读
这是循环请求10次页面。总时间大概是10秒左右，如果是普通的循环请求10次页面而不添加异步的话，时间大概在30秒以上，当然这个数据可能有误，因为有网速的问题存在，但大体的效果应该是不变的。 import aiohttp
from bs4 import BeautifulSoup
import asyncio
import time
async def html_list(url,header
转载
2023-06-15 13:35:35
183阅读
一、并发、并行、同步、异步、阻塞、非阻塞并发: 一个时间段内，有几个程序在同一个CPU上运行，但是任意时刻只有一个程序在CPU上运行。并行: 任何时间点，有多个程序运行在多个CPU上（最多和CPU数量一致）。同步: 是指代码调用IO操作时，必须等待IO操作完成才能返回的调用方式。异步: 是指代码调用IO操作时，不必等待IO操作完成就能返回的调用方式。阻塞: 调用函数的时候当前线程被挂起。非阻塞:
转载
2024-03-10 23:12:50
58阅读
celery 简单上手使用pip install celery并且保持你有一个可使用的redis或者rabbitmqteak.pyfrom celery import Celery
app = Celery("task", # 与文件名无关
broker="redis://127.0.0.1:6379", # 消息中间件
backend="
转载
2023-09-25 19:50:15
106阅读
import sys
import asyncio
import logging
logging.basicConfig(level=logging.INFO)
# 一次使用异步 处处使用异步
import aiomysql
def log(sql,args=()):
logging.info('SQL:%s' %sql)
@asyncio.coroutine
def
转载
2024-01-11 10:03:27
27阅读
异步编程是并行编程的一种方式。单个工作单元独立于主应用程序线程运行，并通知调用线程其完成、失败情况或进度。异步编程是并行编程的一种方式。单个工作单元独立于主应用程序线程运行，并通知调用线程其完成、失败情况或进度。下面这张图理解起来会更直观一些：同步编程很普遍。如图，请求1被发出后等待响应1；一旦得到响应1就发出请求2，然后等待它的响应。在上面的代码中，向函数传递参数“a”后等待函数返回更改后的值，
转载
2024-01-07 17:08:58
34阅读
本片博客仅用于记录开发个人博客中的心得体会。目标：使用aiohttp, aiomysql开发异步服务器。aiohttp中文文档第一阶段：开发orm框架orm框架的作用就是直接在代码中对对象进行操作，映射到数据库的操作，这样就屏蔽了数据库操作的具体细节。相当于hibernate的作用。第一步：使用了aiohttp那么所有的I/O都要用异步技术，数据库也不例外，要用aiomysql。首先使用aiomy
转载
2024-01-03 07:28:35
66阅读
一下代码通过协程、多线程、多进程的方式，运行代码展示异步与同步的区别。import gevent
import threading
import multiprocessing
# 这里展示同步和异步的性能区别，可以看到异步直接同时执行并完成，
# 而同步，需要等待第一个完成后再次执行下一个，是有顺序的执行，而异步不需要
import time
def task(pid):
geven
转载
2023-09-20 16:48:07
35阅读
Flask是Python中有名的轻量级同步Web框架，但是在实际的开发中，可能会遇到需要长时间处理的任务，此时就需要使用异步的方式来实现，让长时间任务在后台运行，先将本次请求的相应状态返回给前端，不让前端界面卡顿。在碎遮扫描系统的编写中，当对目标进行全方位扫描时，扫描这个动作是需要长时间处理的。因为现在还没有加快每个部分的扫描速度，所以想要将一个目标扫描完大概需要五到十分钟的时间，所以不可能让用户
转载
2023-07-11 21:16:24
100阅读
众所周知，python由于GIL锁的存在，不能发挥多核的优势。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千的效率，从而弥补了python性能方面的短板asyncio是python3引入，python2没有这个库。同步/异步概念：·同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行。。。·异步是和同步相对的，异步是指在处理
转载
2023-06-09 10:37:58
414阅读
python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 &nb
转载
2023-07-01 11:52:32
208阅读
Django 3.0 发布了，此版本带来了一些新特性，其中最值得关注的应当是其开始支持异步功能。此前我们报导过，有草案提出要让 Django 支持异步。聚集于 HTTP 中间件视图和 ORM，开发者要在 Django 中添加异步支持，同时维护对同步 Python 的支持，并且将完全向后兼容。该设想最终会替换掉 Django 中的大多数阻塞部分，包括 Session、Auth、ORM 与 Handl
转载
2024-07-28 20:46:33
33阅读
一下代码通过协程、多线程、多进程的方式，运行代码展示异步与同步的区别。import gevent
import threading
import multiprocessing
# 这里展示同步和异步的性能区别，可以看到异步直接同时执行并完成，
# 而同步，需要等待第一个完成后再次执行下一个，是有顺序的执行，而异步不需要
import time
def task(pid):
gevent.slee
转载
2023-07-28 13:36:03
85阅读
python 多线程学习一 （同步与异步）0x00 概念0x01 方法中的同步与异步0x02 图解同步与异步0x03 同步异步与阻塞非阻塞 0x00 概念定义：同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)。同步，就是调用某个东西是，调用方得等待这个调用返回结果才能继续往后执行。异步，和同步相反 调用
转载
2023-08-17 21:33:54
181阅读
