select/poll/epoll的区别
I/O多路复用的本质就是用select/poll/epoll,去监听多个socket对象。
- select是不断轮询去监听的socket,socket个数有限制,一般为1024个(文件描述符为1024,该值可以修改);随着文件描述符数量增加,轮询一回成本增加。
- poll采用轮询方式监听,只不过没有个数限制;
- epoll不采用轮询方式去监听,而是当socket有变化时通过回调的方式主动告知用户进程;无最大链接数的限制。
水平触发(Level Triggered),select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为。
边缘触发(Edge Triggered),只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发。
select
https://pymotw.com/2/select/#module-select
Python的select()方法直接调用操作系统的IO接口,它监控sockets,open files, and pipes(所有带fileno()方法的文件句柄)何时变成readable 和writeable, 或者通信错误,select()使得同时监控多个连接变的简单,并且这比写一个长循环来等待和监控多客户端连接要高效,因为select直接通过操作系统提供的C的网络接口进行操作,而不是通过Python的解释器。
select 使用
- 创建两个列表来表示输入输出信息给select: select()方法接收并监控3个通信列表, 第一个是所有的输入的data,就是指外部发过来的数据,第2个是监控和接收所有要发出去的data,第3个监控错误信息。
- select()返回3个新的list,分别赋值为readable,writable,exceptional。所有在readable list中的socket连接代表有数据可接收(recv),所有在writable list中的存放着你可以对其进行发送(send)操作的socket连接,当连接通信出现error时会把error写到exceptional列表中。
Readable list 中的socket 3种可能状态
- 第一种是如果这个socket是main "server" socket,它负责监听客户端的连接,如果这个main server socket出现在readable里,那代表这是server端已经ready来接收一个新的连接进来了,为了让这个main server能同时处理多个连接,在下面的代码里,我们把这个main server的socket设置为非阻塞模式。
- socket是已经建立了的连接,它把数据发了过来,这个时候你就可以通过recv()来接收它发过来的数据,然后把接收到的数据放到queue里,这样你就可以把接收到的数据再传回给客户端了。
- 这个客户端已经断开了,所以你再通过recv()接收到的数据就为空了,所以这个时候你就可以把这个跟客户端的连接关闭了。
writable list中的socket
- 如果这个客户端连接在跟它对应的queue里有数据,就把这个数据取出来再发回给这个客户端;
- 否则就把这个连接从output list中移除,这样下一次循环select()调用时检测到outputs list中没有这个连接,那就会认为这个连接还处于非活动状态
1 import socket
2 import select
3 import queue
4
5
6 HOST = ('localhost',9999)
7 server = socket.socket()
8 server.setblocking(False)
9 server.bind(HOST)
10 server.listen(3)
11
12 inputs = [server,]
13 outputs = []
14 message_queues = {}
15 print('inputs:',inputs)
16
17 while True:
18 print('waiting for next event')
19 print('***************inputs:', inputs)
20 readable, writeable, exeptional = select.select(inputs,outputs,inputs)
21 # 如果没有任何fd就绪,程序一直会阻塞在这
22 print('-------------readable:',readable )
23 for s in readable:
24 if s is server:
25 conn,addr = s.accept()
26 print('server is %',s)
27 print('new connection from %s' % conn)
28 conn.setblocking(0)
29 inputs.append(conn)
30 message_queues[conn] = queue.Queue()
31 else:
32 data = s.recv(1024)
33 if data:
34 print('收到来自[%s]的数据:%s' %(s.getpeername()[0],data))
35 message_queues[s].put(data)
36 if s not in outputs:
37 outputs.append(s)
38 else:
39 print('客户端断开')
40
41 if s in outputs:
42 outputs.remove(s)
43 inputs.remove(s)
44 del message_queues[s]
45 print('++++++++++++=writeabld:',writeable)
46 for s in writeable:
47 try:
48 next_msg = message_queues[s].get_nowait()
49
50 except queue.Empty:
51 print("client [%s]" % s.getpeername()[0], "queue is empty..")
52 outputs.remove(s)
53
54 else:
55 print("sending msg to [%s]" % s.getpeername()[0], next_msg)
56 s.send(next_msg.upper())
57
58 for s in exeptional:
59 print("handling exception for ", s.getpeername())
60 inputs.remove(s)
61 if s in outputs:
62 outputs.remove(s)
63 s.close()
64
65 del message_queues[s]
select_server
1 import socket
2 import sys
3
4 messages = [ b'This is the message. ',
5 b'It will be sent ',
6 b'in parts.',
7 ]
8 server_address = ('localhost', 9999)
9
10 # Create a TCP/IP socket
11 socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM) for i in range(3)]
12
13 # Connect the socket to the port where the server is listening
14 print('connecting to %s port %s' % server_address)
15 for s in socks:
16 s.connect(server_address)
17
18 print('***',socks)
19 for message in messages:
20
21 # Send messages on both sockets
22 for s in socks:
23 print('%s: sending "%s"' % (s.getsockname(), message) )
24 s.send(message)
25
26 # Read responses on both sockets
27 for s in socks:
28 data = s.recv(1024)
29 print( '%s: received "%s"' % (s.getsockname(), data) )
30 if not data:
31 print(sys.stderr, 'closing socket', s.getsockname() )
select_client
https://docs.python.org/3/library/select.html#module-select
selector
https://docs.python.org/3/library/selectors.html
这个模块允许高级别和高效的I/O多路复用,建立在select模块之上,相当于epoll。如果不是对精确OS级别的原语控制,推荐使用这个模块。
selector定义了一个BaseSelector抽象基类,以及一些具体的实现(KqueueSelector, EpollSelector…),可以用于在多个文件对象上等待I/O准备通知。
DefaultSelector是当前平台上可用的最高效实现的别名:这应该是大多数用户的默认选择。
支持的文件对象类型取决于平台:在Windows上,支持套接字,但不支持管道,而在Unix上,两者都得到支持(一些其他类型也可以支持,比如fifos或特殊文件设备)。
事件
是一个位掩码,指示在给定的文件对象上应该等待哪些I/O事件。它可以是以下模块常用的组合:
- EVENT_READ: Available for read
- EVENT_WRITE:Available for write
class selectors.
DefaultSelector
默认选择器类,使用当前平台上可用的最有效的实现。
1 import selectors
2 import socket
3
4 sel = selectors.DefaultSelector()
5
6 def accept(sock, mask): # sock相当于key.fileobj
7 conn, addr = sock.accept() # Should be ready
8 print('accepted', conn, 'from', addr)
9 conn.setblocking(False)
10 sel.register(conn, selectors.EVENT_READ, read)
11
12 def read(conn, mask):
13 data = conn.recv(1000) # Should be ready
14 if data:
15 print('echoing', repr(data), 'to', conn)
16 conn.send(data) # Hope it won't block
17 else:
18 print('closing', conn)
19 sel.unregister(conn)
20 conn.close()
21
22 sock = socket.socket()
23 sock.bind(('localhost', 1234))
24 sock.listen(100)
25 sock.setblocking(False)
26 sel.register(sock, selectors.EVENT_READ, accept)
27
28 while True:
29 events = sel.select() # 根据系统是否支持,使用epoll还是select,优先epoll。默认阻塞,有活动连接就返回活动的连接列表
30 for key, mask in events:
31 callback = key.data # 相当于回调accept
32 callback(key.fileobj, mask) # key.fileobj相当于建立连接后的conn