阻塞型I/O和GILCPython 解释器本身就不是线程安全的，因此有全局解释器锁（GIL），一次只允许使用一个线程执行 Python 字节码。因此，一个 Python 进程通常不能同时使用多个 CPU 核心。然而，标准库中所有执行阻塞型 I/O 操作的函数，在等待操作系统返回结果时都会释放GIL。这意味着在 Python 语言这个层次上可以使用多线程，而 I/O 密集型 Python 程序能从中
转载
2023-11-11 10:31:01
69阅读
在python的异步实践中，每次看asynicio都会有新的收获，本篇总结一下最近看这个库的使用。一些核心概念异步函数的定义普通函数的定义是使用 def 关键词，异步的函数，协程函数(Coroutine)本质上是一个函数，特点是在代码块中可以将执行权交给其他协程，使用async def 来定义 async def 来定义函数 如何调用协程并且得到它的运行结果? 调用普通的函数只
转载
2023-08-30 08:17:45
108阅读
目录文章目录目录Python 的协程asyncioEvent Loopasyncasync defasync forasync withawaitFuture 和 TaskPython 的协程Python 对协程的支持经历了多个版本：Python2.x 对协程的支持比较有限，通过 yield 关键字支持的生成器实现了一部分协程的功能但不完全。
原创
2022-02-14 14:33:43
375阅读
前言 如果需要并发 http 请求怎么办呢？requests库是同步阻塞的，必须等到结果才会发第二个请求，这里需使用http请求异步库 aiohttp。 环境准备 aiohttp 用于 asyncio 和 Python 的异步 HTTP 客户端/服务器。
原创
2022-03-15 17:29:10
2472阅读
前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 python还有一
转载
2019-03-26 16:36:00
280阅读
2评论
一些随笔理解一些名词（简单的说，具体定义可百度）并发（concurrency）：同一时间段内执行多个任务,但是在同一时刻你只可以执行一个任务。并行（parallellism）：同一时刻执行多个任务。同步异步关注的是消息通信机制同步（Synchronous）：调用方必须等待这个调用返回结果才能继续执行。异步（Asynchronous）：调用方不会立刻得到结果，而是调用发出后调用者可以继续后续的操作，
转载
2023-07-07 15:16:03
100阅读
前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 python还有一
转载
2019-11-19 20:30:00
151阅读
2评论
注意并发指的是任务数多余CPU核数,通过操作系统的各种任务调度算法,实现用多个任务,"一起"执行(实际上总有一些任务不在执行,因为切换任务的速度相当快,看上去一起执行而已)并行指的是任务数小于等于cup核数, 即任务真的是一起执行的线程Python的thread模块是比较 底层的模块, Python的threading模块是对thread做了一些包装的, 可以更加方便的被使用1 使用threadi
转载
2023-07-28 23:47:46
99阅读
这是Flask，Sentry的作者Armin Ronacher的一篇博客，这篇文章的影响很大，后来asyncio的文档重写就是受这篇文章影响。这篇文章写于2016.10.30。而Asyncio的一个重要的PEP525（加入了async/await语法)，是2016.7.28出台的。也就是说，在PEP525之后，本文作者决定学习一下Asyncio，但是却觉得是一个
转载
2023-08-22 17:09:16
94阅读
通过上节课的学习，我们知道在进行I/O操作的时候，使用多线程与普通的单线程比较，效率有了很大的提高，既然这样，为什么还要Asyncio呢？
转载
2023-06-01 21:15:10
223阅读
目录1. Asyncio是什么？（1）Sync与Async（2）Asyncio 工作原理（3）Asyncio 用法2. Asyncio是银弹吗？3.多线程还是 Asyncio？4.小结我们来一起看下Python 并发编程的另一种实现方式——Asyncio，在处理 I/O 操作时，使用多线程与普通的单线程相比，效率得到了极大的提高。你可能会想，既然这样，为什么还需要 Asyncio？诚然，
转载
2023-08-31 19:52:22
129阅读
（本文主要参照Python在线文档进行学习）0.前言进程有自己独立的堆和栈，由操作系统调度；线程有独立的栈，共享堆空间，标准的线程也是由操作系统调度；协程和线程一样共享堆不共享栈，但是是由程序员在协程的代码里显示调度。协程避免了无意义的调度，进而提升性能，但也增加了程序员的责任。1.初探asyncio是一个使用 async / await 语法编写并发代码的库，在Python 3.4 引入，直接内
转载
2023-09-19 20:56:25
85阅读
异步IO 协程 是写爬虫目前来说最好的方式.比多线程和多进程都好. 开辟新的线程和进程是非常耗时的 讲讲我在使用python异步IO语法时踩过的坑简单介绍异步IO的原理以及利用最新语法糖实现异步IO的步骤,然后给出实现异步的不同例子 网上找了很多python的asyncio示例.很多都是用# 获取EventLoop:
loop = asyncio.
转载
2023-07-07 15:18:04
74阅读
# 0x00 前言之前对协程早有耳闻，但一直没有去学习，今天就来学习一下协程，再次感谢莫烦的教程。可以交给asyncio执行的任务被称为协程， asyncio 即异步的意思，在 Python3 中这是一个仅使用单线程就能达到多线程、多进程效果的工具。在单线程中使用异步发起 IO 操作的时候，不需要等待 IO 的结束，在等待 IO 操作结束的这个空当儿可以继续做其他事情，结束的时候就会得到通知，所以
转载
2023-08-11 10:59:38
69阅读
文章目录运行协程1. asyncio.run()源码2. await 一个协程：同步执行3. await 一个任务：并发执行3.1 create_task其他event looploop.run_until_complete(future)进阶：阻塞和await区别比较asyncio.gatherasyncio.waitasyncio.sleepasyncio.shield事件循环示例1. lo
转载
2023-09-12 13:45:53
271阅读
asyncio版本支持asyncio 模块在 Python3.4 时发布。async 和 await 关键字最早在 Python3.5 中引入。Python3.3 之前不支持。关键概念event_loop 事件循环：程序开启一个无限的循环，程序员会把一些函数（协程）注册到事件循环上。当满足事件发生的时候，调用相应的协程函数。coroutine 协程：协程对象，指一个使用async关键字定义的函数，
转载
2023-09-22 21:14:25
78阅读
什么是Asyncio 多线程有诸多优点且应用广泛，但也存在一定的局限性： 比如，多线程运行过程容易被打断，因此有可能出现 race condition 的情况；再如，线程切换本身存在一定的损耗，线程数不能无限增加，因此，如果I/O 操作非常 heavy，多线程很有可能满足不了高效率、高质量的需求。 因此，Asyncio 应运而生。Sync(同步) VS Async(异步) 所谓 Sync，是
转载
2023-07-05 00:12:03
146阅读
什么是事件循环： 事件循环是每个 asyncio 应用的核心。 事件循环会运行异步任务和回调，执行网络 IO 操作，以及运行子进程。 说简单点就是由于python是单线程的 程序在执行中会将所有任务放到队列中去逐一执行，当发现阻塞时就去执行其他任务，知道程序结束。 应用开发者通常应当使用高层级的 asyncio 函数，例如 asyncio.run()，应当很少有必要引用循环对象或调用其方法。主要方
转载
2023-07-04 14:36:25
88阅读
什么是Asyncio
多线程有诸多优点且应用广泛，但也存在一定的局限性： 比如，多线程运行过程容易被打断，因此有可能出现 race condition 的情况；再如，线程切换本身存在一定的损耗，线程数不能无限增加，因此，如果I/O 操作非常 heavy，多线程很有可能满足不了高效率、高质量的需求。
因此，Asyncio 应运而生。
Sync(同步)
转载
2023-08-30 08:34:00
83阅读
在Python使用multiprocessing进行多线程和多进程操作 这篇文章中介绍了使用多线程的方式对一些I/O操作（文件读写、网络请求，这些操作不用等待其结束，在此期间可以做其他事情）进行加速。而本篇文章介绍的协程可以理解成“微线程”，不开辟其他线程，只在一个线程中执行，并且执行函数时可以被中断的一种异步执行功能。我们可以把采用线程实现的阻塞式I/O操作转化为采用协程实现地异步I/
转载
2023-07-27 20:53:23
346阅读
