有没有一种简便的方法可以在Python中异步写入文件?
我知道Python随附的文件io会阻塞; 在大多数情况下都可以。 对于这种特殊情况,我需要写任何内容都不要或至少最小程度地阻止应用程序。
据我了解,异步I / O与非阻塞I / O不太相同。
在非阻塞I / O的情况下,一旦将文件描述符设置为"非阻塞",read()系统调用(例如)将在读取操作后返回EWOULDBLOCK(或EAGAIN)。将阻止调用过程以完成操作。提供了系统调用select(),poll(),epoll()等,以便进程可以在一个或多个文件描述符可用于执行某些I / O操作时要求告知OS。
异步I / O通过将对I / O的请求排队到文件描述符中来进行操作,而该文件描述符独立于调用过程进行跟踪。对于支持异步I / O(通常为原始磁盘设备)的文件描述符,进程可以调用aio_read()(例如)以请求从文件描述符读取多个字节。无论I / O是否完成,系统调用都会立即返回。一段时间后,该过程然后轮询操作系统以完成I / O(即,缓冲区中已填充数据)。
仅执行非阻塞I / O的进程(单线程)将能够从一个准备好进行I / O的文件描述符读取或写入一个文件描述符,而另一个还没有准备好。但是该过程仍必须同步发出系统调用以对所有就绪文件描述符执行I / O。而在异步I / O情况下,该过程只是检查I / O(填充数据的缓冲区)是否完成。如果使用异步I / O,则OS可以自由选择并行操作以尽可能多地服务I / O。
有了这个,是否有针对POSIX aio_read / write等系统调用的Python包装器?
要添加的一件事:正如第一个响应的评论者所说,实际上没有系统在文件上遵循O_NONBLOCK -实际上仅用于套接字。如果要在Unix上使用可移植的异步文件IO,则必须使用POSIX AIO或将同步IO卸载到线程池中。
Twisted在文件描述符上具有非阻塞写入。如果您正在编写异步代码,无论如何,我希望您使用的是扭曲的。 :)
令人遗憾的是,O_NONBLOCK(您链接到的fdesc API确实具有的功能)不适用于本地硬盘文件。即POSIX规范说应该忽略它,并且在我所知道的每个UNIX系统上都应该完全忽略它。如果您认为这是一个愚蠢的主意,那么我不能同意,但是这样做有很多历史和实施原因。简而言之,如果要异步IO到本地硬盘文件,则最好使用线程并将IO推迟到IO线程或使用AIO API。
您可以尝试使用Thread:
5from threading import Thread
for file in list_file:
tr = Thread(target=file.write, args=(data,))
tr.start()
这或多或少是一个伪代码,但我希望您能理解。请注意,此处的线程保持打开状态。
以我的经验,它可以很好地工作,尽管在主脚本完成后解释器仍可以继续工作一段时间(需要使用join()),所以速度提高的幅度比看上去大得多。
我正在为python:pyaio开发aio.h出价
它仅在Linux上运行。
Python 3似乎具有这种功能。参见PEP 3116。
看起来PEP 3116与包含非阻塞I / O的新I / O抽象有关。但是,非阻塞I / O与异步I / O不同。非阻塞I / O通常不适用于本地文件系统写入。