IO多路复用

socket在客户端与服务端建立连接后,之后的请求都需要等待

原生的socket服务端只能在同一时刻处理一个请求

IO多路复用:

可以监听多个文件描述符(socket对象),一旦文件描述符的状态出现变化,就会感知到

一旦有人给服务器发送请求,服务端的socket就会发生变化

或服务端通过Socket给客户端发送数据,服务端的socket也会发生变化

让socket监听多个端口

原生的socket只能监听一个端口

通过select模块实现socket监听多个端口

[注]:socket中send和sendall:send发送的内容不一定全部发送出去,返回值为发送了多少,sendall底层调用send,通过循环把所有的数据发送出去

IO多路复用可以接收多个文件描述符,一旦有哪个文件描述符的状态发生变化,就会帮忙处理

import socket
import select
server1 = socket.socket()
ip_port1 = ('127.0.0.1', 8001)
server1.bind(ip_port1)
server1.listen(5)
server2 = socket.socket()
ip_port2 = ('127.0.0.1', 8002)
server2.bind(ip_port2)
server2.listen(5)
print('服务器启动.........')
inputs = [server1, server2]
while True:
# r_list:为第一个参数传入的列表,一旦这个列表中的文件描述符对象发生改变,就会把这个对象放入r_list
# w_list:为第二个参数的列表对象关联,第二个参数的列表里有什么,w_list就有什么
# e_list:为第三个参数的列表关联,一旦这个列表的文件描述符对象发生异常,就会把异常对象传入e_list中，通常把异常的文件描述符从监听中移除
# 参数四:表示每隔多久扫描一次,这里为1秒
r_list, w_list, e_list = select.select(inputs, [], [], 1)
print('r_list大小:%d'%len(r_list))
for sk in r_list:
conn, addr = sk.accept()
print('服务器接收到请求,客户端ip: %s .port: %s' % (addr[0], addr[1]))
conn.sendall(bytes('Hello_World!', encoding='utf-8'))

IO多路复用跟系统底层有关,由系统底层实现的,跟python无关,python只是通过select模块调用,window系统只支持select

IO多路复用发展

计算机一开始只有select,大家都用select

select:性能比较低,底层通过for循环逐个遍历,最多支持1024个
poli:对select优化,个数没有限制了,但是依然不是并发的(for循环)
epoli:内部不再是for循环,通过异步的方式,哪个文件描述符发生变化,主动告诉系统
socket实现可以接收多个客户端访问
import socket
import select
sk1 = socket.socket()
ip_port1 = ('127.0.0.1', 8001)
sk1.bind(ip_port1)
sk1.listen(5)
print('服务端启动...........')
inputs = [sk1, ]
# 一旦有客户端访问服务端,服务端通过accept()获取到客户端的socket(conn)放入inputs列表中进行监听
while True:
r_list, w_list, e_list = select.select(inputs, [], [], 1)
for sk in r_list:
if sk == sk1:
# 一旦有人访问,sk1就会发生变化
conn, addr = sk.accept()
conn.sendall(bytes('Hello_World', encoding='utf-8'))
# 把客户端的socket(conn)方法inputs监听,一旦客户端发送数据过来,conn会发生变化
inputs.append(conn)
else:
# conn发生变化
try:
recv_bytes = sk.recv(1024)
except Exception as e:
inputs.remove(sk)
print(e)
else:
recv_str = str(recv_bytes, encoding='utf-8')
print(recv_str)
sk.sendall(bytes("回复:" + recv_str, encoding='utf-8'))
finally:
pass

在python2.7中,如果客户端断开了连接,默认会发送一个空值给服务端,服务端通过：if rev_bytes来判断是否断开连接,移除监听

python3.x中,客户端断开连接时变成抛异常,通过try来处理断开的逻辑

上面的操作没有实现并发,比socket的优势是可以处理多个请求,但不是并发进行,通过for循环

select实现读写分离
import socket
import select
sk1 = socket.socket()
ip_port1 = ('127.0.0.1', 8001)
sk1.bind(ip_port1)
sk1.listen(5)
print('服务端启动...........')
inputs = [sk1, ]
outputs = []
message_dict = {}
# 一旦有客户端访问服务端,服务端通过accept()获取到客户端的socket(conn)放入inputs列表中进行监听
while True:
r_list, w_list, e_list = select.select(inputs, outputs, [], 1)
for sk in r_list:
if sk == sk1:
# 一旦有人访问,sk1就会发生变化
conn, addr = sk.accept()
conn.sendall(bytes('Hello_World', encoding='utf-8'))
# 把客户端的socket(conn)方法inputs监听,一旦客户端发送数据过来,conn会发生变化
inputs.append(conn)
message_dict[conn] = []
else:
# conn发生变化
try:
recv_bytes = sk.recv(1024)
except Exception as e:
inputs.remove(sk)
print(e)
else:
recv_str = str(recv_bytes, encoding='utf-8')
message_dict[sk].append(recv_str)
outputs.append(sk)
finally:
pass
print(w_list)
for conn in w_list:
recv_str = message_dict[conn].pop()
print(recv_str)
conn.sendall(bytes("回复:" + recv_str, encoding='utf-8'))
outputs.clear()

梳理

select以后基本不会用到,但是这个所有的网络通信的根本,很多源码都会有,如果不懂,则看源码的时候会很吃力

socketserver真正实现了并发

socket + select + 多线程

多线程

import threading
import time
def process(arg):
print(arg)
time.sleep(1)
# 如果这样子执行,会执行10秒
for i in rang(10):
process(i)
# 通过多线程,瞬间完成
for i in rang(10):
t = threading.Thread(target:process,arg=i)
t.start()
socket通信技巧
socket在send和recv都有大小限制

如果传输人的数据超过1024,一次接收不完,需要接收多次,如何知道要接收多层次,这就要在发送之前告诉另一端数据有多大