什么是异步及使用场景？写代码过程中，经常会碰到，某一个函数，可能需要执行很久，才会返回，那么，我们现在让程序在这里死等着让它执行完成，很影响代码性能，因此，需要借用异步处理！比如如下demodef my_func():
demo()
pass
def demo():
# long time
import time
import random
ti
转载
2023-08-14 23:45:29
50阅读
在一个Web App中，所有数据，包括用户信息、发布的日志、评论等，都存储在数据库中。在awesome-python3-webapp中，我们选择MySQL作为数据库。 Web App里面有很多地方都要访问数据库。访问数据库需要创建数据库连接、游标对象，然后执行SQL语句，最后处理异常，清理资源。这些访问数据库的代码如果分散到各个函数中，势必无法维护，也不利于代码复用。 所以，我们要首先把常用的S
转载
2023-11-07 12:47:03
8阅读
总线的异步通讯方式 异步通讯克服了同步铜须的缺点，允许各模块的速度不一致，给设计者充分的灵活性和选择余地。它没有公共的时钟标准，不要求所有部件严格的统一操作时间，而是采用应答方式(又称握手方式)，即当主模块发出请求信号时，一直等待从模块反馈回来“响应”信号后，才开始通信。这要求主从模块之间增加两条应答新。 &
转载
2023-08-12 23:03:01
136阅读
python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 &nb
转载
2023-07-01 11:52:32
208阅读
1. 异步操作redis当通过python去操作redis时，链接、设置值、获取值 这些都涉及网络IO请求，使用asycio异步的方式可以在IO等待时去做一些其他任务，从而提升性能。安装Python异步操作redis模块 pip3 install aioredis案例1：import asyncio
import aioredis
async def exe
转载
2023-11-23 20:49:43
53阅读
前言同步/异步的概念：同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行 异步是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果。asyncio是python3.4版本引入到标准库 python3.5又加入了async/await特性。背景因为业务
转载
2023-09-12 23:10:06
278阅读
Django 3.0 发布了，此版本带来了一些新特性，其中最值得关注的应当是其开始支持异步功能。此前我们报导过，有草案提出要让 Django 支持异步。聚集于 HTTP 中间件视图和 ORM，开发者要在 Django 中添加异步支持，同时维护对同步 Python 的支持，并且将完全向后兼容。该设想最终会替换掉 Django 中的大多数阻塞部分，包括 Session、Auth、ORM 与 Handl
转载
2024-07-28 20:46:33
33阅读
一、高性能异步爬虫本章节学习目的：在爬虫中使用异步实现高性能的数据爬取操作。1.1、异步爬虫的方式：1、多线程，多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步操作执行。 弊端
转载
2023-08-12 14:13:41
113阅读
一下代码通过协程、多线程、多进程的方式，运行代码展示异步与同步的区别。import gevent
import threading
import multiprocessing
# 这里展示同步和异步的性能区别，可以看到异步直接同时执行并完成，
# 而同步，需要等待第一个完成后再次执行下一个，是有顺序的执行，而异步不需要
import time
def task(pid):
gevent.slee
转载
2023-07-28 13:36:03
85阅读
python 多线程学习一 （同步与异步）0x00 概念0x01 方法中的同步与异步0x02 图解同步与异步0x03 同步异步与阻塞非阻塞 0x00 概念定义：同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)。同步，就是调用某个东西是，调用方得等待这个调用返回结果才能继续往后执行。异步，和同步相反 调用
转载
2023-08-17 21:33:54
181阅读
Python的asyncio是使用 async/await 语法编写并发代码的标准库。通过上一节的讲解，我们了解了它不断变化的发展历史。到了Python最新稳定版 3.7 这个版本，asyncio又做了比较大的调整，把这个库的API分为了 高层级API和低层级API，并引入asyncio.run()这样的高级方法，让编写异步程序更加简洁。本节希望提纲挈领地介绍最新 3.7 版的asnycio，先从
转载
2023-09-20 21:06:12
96阅读
在实际的应用场景中，如用户注册，用户输入了注册信息后，后端保存信息到数据库中，然后跳转至登录界面，这些操作用户需要等待的时间非常短，但是如果是有耗时任务，比如对输入的网址进行漏洞扫描，在后端处理就会花费几分钟的时间，不可能让用户等待页面刷新几分钟，所以需要进行后端异步处理。之前使用的后端异步处理时Python的原生线程/进程实现，简洁暴力，自己用的话还行，但是如果是给用户用，就还存在一些不足，现考
转载
2023-08-01 13:31:21
19阅读
最近看了一下tornadio异步调用的功能，做一个小总结，ps：有一些很好的文章我会把链接放到最后，供大家参考。简单说一下我理解的同步和异步的概念，同步和异步指的调用方而言就是http请求中对应request。同步：是我调用一个接口，服务端要做处理，处理完成后给我返回response，这等待response过程中我是不做任何处理的，挂起状态。异步：同理我调用一个接口发起一个request1，服务端
转载
2023-08-02 11:02:13
196阅读
python中的异步编程最近变得越来越流行。python中有许多不同的库用于进行异步编程。其中一个库是asyncio，它是Python 3.4中添加的python标准库。Asyncio是异步编程在Python中越来越流行的部分原因。本文将解释异步编程是什么，并比较其中的一些库。让我们来看看历史，看看异步编程是如何在python中演变的一次只执行一个任务程序具有固有属性，每行按顺序执行。例如，如果您
转载
2024-05-21 16:26:30
24阅读
作为一款高效的编程语言，Python很受程序员欢迎。而异步爬虫通常被认为是Python的拿手好戏之一。本篇教程将为你详细介绍如何使用Python编写异步爬虫。异步编程的优势：异步编程是指在执行任务时无需等待某个任务执行完毕，而是可以立即开始执行其他任务。Python对异步编程的支持非常友好，因为Python提供了非常实用的库——asyncio来实现异步编程。使用 aiohttp 库异步爬取网页：a
转载
2023-06-24 21:41:54
113阅读
多线程：threading，利用CPU和IO可以同时执行的原理，让CPU不会等到IO完成再执行； 多进程：multiprocessing，利用多核CPU的能力，真正的并行执行任务； 异步IO：asyncio，在单线程利用CPU和IO同时执行的原理，实现函数异步执行； 使用Lock对资源加锁，防止访问冲突； 使用Queue实现不同线程、进程之间的数据通信，实现生产者-消费者模式； 使用线程池Pool
转载
2023-09-08 14:55:31
246阅读
一.Scrapy框架简介 何为框架，就相当于一个封装了很多功能的结构体，它帮我们把主要的结构给搭建好了，我们只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据，提取数据的框架，我们熟知爬虫总共有四大部分，请求、响应、解析、存储，scrapy框架都已经搭建好了。scrapy是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架，scrapy使用了一
转载
2024-07-25 13:15:00
50阅读
协程协程，一个线程执行多个子程序，来回切换。很类似多线程，哪和多线程相比有何优势呢？1、协程的执行效率很高。因为是子程序切换而不是线程切换，由程序自身控制。因此，没有线程切换的开销。和多线程比，线程数量越多，协程的性能优势就越明显。2、不需要多协程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。而因为协程是一个线程执
转载
2023-08-26 22:57:07
55阅读
开始开篇：爬代理ip v2.0(未完待续），实现了获取代理ips，并把这些代理持久化（存在本地）。同时使用的是tornado的HTTPClient的库爬取内容。中篇：开篇主要是获取代理ip；中篇打算使用代理ip，同时优化代码，并且异步爬取内容。所以接下来，就是写一个：异步，使用代理的爬虫。定义为:爬虫 v2.5为什么使用代理在开篇中我们爬来的代理ip怎么用？在需要发送请求的时候，需要把请求，先发送
转载
2024-05-17 02:05:47
56阅读
大家好，今天周末，希望大家周末愉快。这篇文章我来梳理一下爬虫的基本原理。用过Python的伙伴都知道Python用来写爬虫是件很简单很爽的事情。但是有些伙伴不了解爬虫到底是什么，会纳闷为什么爬虫要设置什么请求头、请求体啊，到底要怎么样去发送这个请求啊。当然有的伙伴使用过很多爬虫的请求库，解析库，写过很多爬虫，但是可能他们的思路脉络也不是太清晰。那么，这篇文章就来帮大家理清爬虫原理的脉络。什么是爬虫
转载
2024-07-05 22:39:34
29阅读
