1)同步、异步
函数或方法被调用的时候,调用者是否得到最终的结果。
直接得到最终结果的结果,就是同步调用。(打饭模型,打饭不打好不走开,直到打饭给我后才离开)
不直接得到的最终的结果,就是异步调用。(打饭,不会一直等着,会时不时的过来看看,打完了把饭拿走,异步不保证多长时间打完了饭)
2)阻塞、非阻塞:
函数或方法调用的时候,是否立即返回。
立即返回就是非阻塞调用。
不立即返回就是阻塞调用。
3)区别:
同步、异步,与阻塞、非阻塞不相关。
同步、异步强调的是结果。
阻塞和非阻塞强调的是时间,是否等待。
同步与异步区别在于:调用者是否得到了想要的最终结果。
同步就是一直要执行到返回最终结果。
异步就是直接返回了,但是返回的不是最终的结果,调用者不能通过这种调用得到结果,还要通过被调用者,使用其他方式通知调用者,来取回最终结果。
阻塞与非阻塞的区别在于,调用者是否还能干其他的事情。
阻塞,调用者只能干等。
非阻塞,调用者可以先忙一会别的,不用一直等。
4)联系:
同步阻塞:调用者阻塞,直到等到拿到最终结果。(打饭模型,什么事情也不敢,就等着打饭,打饭是结果,什么也不干,一直在等着,同步加阻塞)
同步非阻塞:(等着打饭,但是可以玩会手机,看看电视,打饭是结果,但是不用一直在等着)
异步阻塞:(我要打饭,你说等着较好,并没有返回饭给我,我啥事不干,就干等着饭好了叫我)
异步非阻塞:回调的话。(我要打饭,你说等较好,并没有返回饭给我,可以在旁边看看电视,玩玩手机,饭好了叫我)
5)同步IO、异步IO、IO多路复用
IO模型:
IO分为两个阶段。
1)数据准备阶段。
2)内核空间复制回用户进程缓冲区阶段。
发生IO的时候:
1、内核从输入设备读、写数据(淘米,把米放锅里煮饭)
2、进程从内核复制数据(盛饭,从内核这个锅把饭装到碗里面来)
系统调用 -- read函数
从磁盘读取到内核空间中来,在拷贝到用户的应用空间内。
系统调用read函数。内核空间,用户空间。
5)IO模型
IO模型:同步IO,包括阻塞IO,非阻塞IO,IO多路复用。
阻塞IO
进程等待(阻塞),直到读写完成。(全程等待) read/write函数
进程调用read操作,如果IO设备没有准备好,立即返回error,进程不阻塞,用户可以再次 发起系统调用,如果内核已经准备好了,就阻塞,然后复制数据到用户空间。
第一阶段数据没有准备好,就先忙别的,等来再来看看,检查数据是否准备好了的过程是非阻塞的。
第二阶段是阻塞的,即内核空间和用户空间之间复制数据是阻塞的。
淘米、蒸饭不用等,去完后。盛饭过程等着你装好饭,但是要等到盛好饭才算完事,这个是同步的,结果就是盛好饭。
Read/write
IO多路复用:
IO多路复用,就是同时监控多个IO,有一个准备好了,就不需要等了开始处理,提高了同同时处理IO的能力。
Select几乎所有操作系统平台都支持,poll是对select的升级。
epoll,Linux系统内核2.5+开始的。对select和poll的增强,在监视的基础上,增加回调机制,BSD。Mac平台都有kqueue,window是有iocp
回调:
Select为例,将关注的IO操作告诉select函数并调用,进程阻塞,内核监视select关注的文件描述符fd,被关注的任何一个fd对应的IO准备好了数据,select返回,在使用read将数据复制到用户进程。
Select:最多监听1024个fd。IO多了,每次都要遍历fd全部发送,效率低下。
epoll:通知机制。没有fd的上限,且是回调机制。效率很高。
6)异步IO:
异步的性能是非常高的。
进程发起异步IO请求,立即返回,内核完成IO的两个阶段,内核给进程发一个信号。
举例:今天不想出去吃饭了,点外卖,饭菜在饭店做好了(第一阶段),送餐员会从饭店送到家门口(第二阶段)
7)Python中IO多路复用:
IO多路复用:
大多数操作系统支持select和poll
Linux2.5+支持epoll
BSD、mac支持kqueue。
Windows的IOcp
Python中的select库。
实现了select,poll系统调用,这个基本上操作系统都支持,部分实现了poll,底层的IO多路复用模块。
开发中的选择
1)完全跨平台,使用select,poll,但是性能较差。
2)针对不同操作系统自行选择支持的技术,这样做会提高IO处理的性能。
要访问的IO交给select,由其注册,
selectors库:
3.4版本提供的库,高级IO复用库。
BaseSelector
+-- SelectSelector
+-- PollSelector
+-- EpollSelector
+-- DevpollSelector
+-- KqueueSelector
Selectors.Defaultselector返回当前平台最有效、效能最高的实现。
但是没有实现windows下的iocp,所以,只能退化为select。
Abstractmethod register(fileobj,events,data=None)
为selector注册一个文件对象,监视他的IO事件。
Fileobj被监视文件对象,例如socket对象。
Events事件,该文件对象必须等待的时间。
Data 可选的与此文件对象相关联的不透明数据,例如,关联用户存储每个客户端的会话ID,关联方法,通过参数在关注的事件产生后让selector干什么事。
Event常量 | 含义 |
Event_read | 可读0b01,内核已经准备好输入输出设备,可以开始读了 |
Event_write | 可写0b10,内核准备好了,可以往里面写了。 |
import selectors
import threading
import socket
import logging
FORMAT = '%(asctime)s %(threadName)s %(thread)d %(message)s'
logging.basicConfig(format=FORMAT,level=logging.INFO)
def accept(sock:socket.socket,mask):
conn,raddr = sock.accept()
conn.setblocking(False)
key = selector.register(conn,selectors.EVENT_READ,read)
logging.info(key)
def read(conn:socket.socket,mask):
data = conn.recv(1024)
msg = 'msg is {]'.format(data.decode())
conn.send(msg.encode())
selector = selectors.DefaultSelector()
sock = socket.socket()
sock.bind(('127.0.0.1',8080))
sock.listen()
logging.info(sock)
sock.setblocking(False)
key = selector.register(sock,selectors.EVENT_READ,accept)
logging.info(key)
e = threading.Event()
def select(e):
while not e.is_set():
events = selector.select()
print('========')
for key,mask in events:
logging.info(key)
logging.info(mask)
callback = key.data
callback(key.fileobj,mask)
threading.Thread(target=select,args=(e,),name='select').start()
def main():
while not e.is_set():
cmd = input('>>>')
if cmd.strip() == 'quit':
e.set()
fobjs = []
logging.info('{}'.format(list(selector.get_map().items())))
for fd ,key in selector.get_map().items():
print(fd)
print(key)
fobjs.append(key.fileobj)
for fobj in fobjs:
selector.unregister(fobj)
fobj.close()
selector.close()
if __name__ == '__main__':
main()