python socket手法数据解包 python socket模块详解

Socket 简介

socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过"套接字"向网络发出请求或者应答网络请求。

socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】

建立一个socket必须至少有2端， 一个服务端，一个客户端， 服务端被动等待并接收请求，客户端主动发起请求， 连接建立之后，双方可以互发数据。

Socket  参数

socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)  # socket 模块中，socket 类. 

def __init__(self, family=AF_INET, type=SOCK_STREAM, proto=0, fileno=None):  # socket 类构造函数

参数一：地址簇

       socket.AF_INET IPv4（默认）

       socket.AF_INET6 IPv6

       socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二：类型

  socket.SOCK_STREAM  #for tcp

  socket.SOCK_DGRAM   #for udp 

  socket.SOCK_RAW     #原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。

  socket.SOCK_RDM  #是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。

参数三：协议

         0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

Socket 实例参数介绍

sk.bind(address) 必会
 
　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。
 
sk.listen(backlog) 必会
 
　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
 
backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列
 
sk.setblocking(bool) 必会
 
　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
 
sk.accept() 必会
 
　　接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
 
　　接收TCP 客户的连接（阻塞式）等待连接的到来
 
sk.connect(address) 必会
 
　　连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。
 
sk.connect_ex(address)
 
　　同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061
 
sk.close() 必会
 
　　关闭套接字
 
sk.recv(bufsize[,flag]) 必会
 
　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
 
sk.recvfrom(bufsize[.flag])
 
　　与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
 
sk.send(string[,flag]) 必会
 
　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
 
sk.sendall(string[,flag]) 必会
 
　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
 
内部通过递归调用send，将所有内容发送出去。
 
sk.sendto(string[,flag],address)
 
　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
 
sk.settimeout(timeout) 必会
 
　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）
 
sk.getpeername()  必会
 
　　返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
 
sk.getsockname()
 
　　返回套接字自己的地址。通常是一个元组(ipaddr,port)
 
sk.fileno()
 
　　套接字的文件描述符
 
socket.sendfile(file, offset=0, count=None)
 
发送文件 ，但目前多数情况下并无什么卵用。

 Socket 示例

1.  发送一次数据，返回一次数据，然后断开连接。

server

__author__ = "bushaoxun"
import socket
server = socket.socket() # 初始化一个实例
server.bind(("localhost",1234)) # 绑定监听的端口
server.listen() # 监听
print("准备通信")
conn,address = server.accept() # 等待接收信息
# conn 客户端连接过来服务器端生成的一个连接实例，address 是客户端的地址的端口
print(conn,address)
data = conn.recv(2048)
print(data)
conn.send(data.upper())
server.close()
# 执行结果
准备通信
<socket.socket fd=112, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 1234), raddr=('127.0.0.1', 54221)> ('127.0.0.1', 54221)
b'I am a pure man\xef\xbc\x8c\xe5\xbf\x85\xe9\xa1\xbb\xe7\x9a\x84'

client

import socket
client = socket.socket() # 声明socket类型，同时生成socket连接对象.  socket()是模块中的类
client.connect(("localhost",1234))
client.send("I am a pure man，必须的".encode("utf-8"))
data = client.recv(2048)
print(data.decode("utf-8"))
# 执行结果
I AM A PURE MAN，必须的

2.服务器端只能和单个客户端进行通信，可以进行多次发送多次返回。新连接的客户端只能等待，上一个客户断开，新的客户才能连接

server

import socket,os
server = socket.socket() # 初始化一个 socket 实例
server.bind(("localhost",1234)) # 绑定 IP 地址
server.listen() # 启动监听
while True:
print("准备执行命令")
conn,address = server.accept()  # 等待接收信息
# conn就是客户端连过来而在服务器端为其生成的一个连接实例.只有客户端连接后才会生成
print(conn, address)
while True:
print("接受命令")
command = conn.recv(2048) # 接收命令
if not command:
print("客户端已经断开")
break
print("执行以下命令")
print(command.decode("utf-8"))
data = os.popen(command.decode("utf-8")).read() # 执行接受的命令，并且读到内存对象。注意 popen 返回一个文件描述符对象
if len(data) == 0:
data = "没有这个命令"
conn.sendall(data.encode("utf-8"))
server.close()

client

import socket
client = socket.socket()  # 声明socket类型，同时生成socket连接对象.  socket()是模块中的类
client.connect(("localhost", 1234))
while True:
msg = input(">>:").strip()
if len(msg) == 0:
continue
client.send(msg.encode("utf-8"))
data = client.recv(8192)
print(data.decode("utf-8"))
client.close()

Socket 粘包

Socket 实现简单的 ssh 服务端和客户端.

1.循环接收服务端发送的数据，确保一次性完全接收

server

import socket,os
server = socket.socket()# 初始化一个 socket 实例
server.bind(("localhost",5210))
server.listen() # 启动监听
 
while True:
print("等待客户端连接")
conn,address = server.accept() # 返回一个元组，两个值。 等待客户端连接
# conn 客户端连接后生成的一个实例. address 是客户端的 ip 和端口
print("准备接受执行的命令")
while True:
command = conn.recv(2048)
if not command:
print("客户端已经断开")
break
result = os.popen(command.decode("utf-8")).read() # popen 方法返回一个文件描述符对象
#print(result)
if len(result.encode("utf-8")) == 0:
result = "命令不正确或者缺少参数"
send_size = len(result.encode("utf-8"))  # 发送将要返回的字符串长度
print(send_size)
 
conn.send(str(send_size).encode("utf-8"))
conn.send(result.encode("utf-8"))
 
server.close()

client

import socket
client = socket.socket() # 初始化一个客户端实例
client.connect(("localhost",5210)) # 连接客户端
while True:
command = input("请输入命令: ").strip() # strip() 去除字符串两端的空格
if len(command) == 0:
continue
client.send(command.encode("utf-8"))
result_size = int(client.recv(1024).decode("utf-8"))  # 字符段的长度
print()
receive_size = 0
receive_data = b""
#print(result_size)
while receive_size < result_size:  # 当接收到长度小于需要需要接收的长度时，循环接受数据
data = client.recv(1024)
receive_size += len(data)
receive_data += data
else:
print("receive_size",receive_size,"\n" "result_size",result_size)
print(receive_data.decode("utf-8"))
 
client.close()

2.粘包问题

服务器端调用send时，数据其实并没有立刻被发送给客户端，而是放到了系统的socket发送缓冲区里，等缓冲区满了、或者数据等待超时了，数据才会被send到客户端，这样就把好几次的小数据拼成一个大数据，统一发送到客户端了，这么做的目地是为了提高io利用效率，一次性发送总比连发好几次效率高嘛。 但也带来一个问题，就是“粘包”，即2次或多次的数据粘在了一起统一发送

修复粘包问题的方法

1. time.sleep(0.5)，让服务器程序sleep 至少0.5就会造成缓冲区超时

2.调用 conn.recv(1024), 由于recv在接收不到数据时是阻塞的，这样就会造成，服务器端接收不到客户端的响应，就不会执行后面的conn.sendall(命令结果)的指令，收到客户端响应后，再发送命令结果时，缓冲区就已经被清空了，因为上一次的数据已经被强制发到客户端了。

代码实现

server

import socket,os
server = socket.socket()# 初始化一个 socket 实例
server.bind(("localhost",5210))
server.listen() # 启动监听
 
while True:
print("等待客户端连接")
conn,address = server.accept() # 返回一个元组，两个值。 等待客户端连接
# conn 客户端连接后生成的一个实例. address 是客户端的 ip 和端口
print("准备接受执行的命令")
while True:
command = conn.recv(2048)
if not command:
print("客户端已经断开")
break
result = os.popen(command.decode("utf-8")).read() # popen 方法返回一个文件描述符对象
#print(result)
if len(result.encode("utf-8")) == 0:
result = "命令不正确或者缺少参数"
send_size = len(result.encode("utf-8"))  # 发送将要返回的字符串长度
print(send_size)
 
conn.send(str(send_size).encode("utf-8"))
conn.recv(1024)  #<strong> 接收客户端响应</strong>
conn.send(result.encode("utf-8"))
 
server.close()

 client

import socket
client = socket.socket() # 初始化一个客户端实例
client.connect(("localhost",5210)) # 连接客户端
while True:
command = input("请输入命令: ").strip() # strip() 去除字符串两端的空格
if len(command) == 0:
continue
client.send(command.encode("utf-8"))
result_size = int(client.recv(1024).decode("utf-8"))  # 字符段的长度
client.send(b"hello,world") # 发送响应给服务器端
print()
receive_size = 0
receive_data = b""
#print(result_size)
while receive_size < result_size:  # 当接收到长度小于需要需要接收的长度时，循环接受数据
data = client.recv(1024)
receive_size += len(data)
receive_data += data
else:
print("receive_size",receive_size,"\n" "result_size",result_size)
print(receive_data.decode("utf-8"))
 
client.close()

SocketServer

socketserver 的类型

1. class socketserver.TCPServer(server_address, RequestHandlerClass, bind_and_activate=True)
2. class socketserver.UDPServer(server_address, RequestHandlerClass, bind_and_activate=True)
3. class socketserver.UnixStreamServer(server_address, RequestHandlerClass, bind_and_activate=True)
4. class socketserver.UnixDatagramServer(server_address, RequestHandlerClass,bind_and_activate=True)

如何创建一个socketserver

1. 首先，创建一个请求控制类，这个类继承 BaseRequestHandler,然后重构这个类的方法 handle(),  handle() 方法处理客户端传进来的请求
2. 实例化socketserver 模块的类，类有上面列举的四种类型，然后传入服务器的地址和步骤一创建的请求控制类
3. 调用实例化后类的handle_request()  或 serve_forever()， 处理一个或多个请求
4. 最后，调用 server_close 关闭 socket

socketserver 实现简单的命令交互

server

import socketserver,os
class Tcphandler(socketserver.BaseRequestHandler):
def handle(self): # 服务器端要执行的操作全部写在函数里
while True:
try:
self.data = self.request.recv(1024).strip()
print(self.client_address)
print(self.data)
self.result = os.popen(self.data.decode("utf-8")).read()
if len(self.result) == 0:
self.result = "命令或者参数不正确，请重新输入"
send_size = len(self.result.encode("utf-8"))
self.request.send(str(send_size).encode("utf-8"))
self.request.recv(1024)
self.request.sendall(self.result.encode("utf-8"))
except ConnectionResetError as e:
print(e)
break
 
 
if __name__ == "__main__":
HOST,PORT = "localhost",5210
server = socketserver.TCPServer((HOST,PORT),Tcphandler)  # 启动一个实例，尅说客户端连接
server.serve_forever()  # 实例可以为多个客户端服务，但是必须是一个执行完断开，另一个再执行
server.allow_reuse_address # 可以重用 IP 地址
server.server_close()

client

import socket
client = socket.socket()
client.connect(("localhost",5210))
while True:
command = input(">>:").strip()
if len(command) == 0: continue
client.send(command.encode("utf-8"))
send_size = int(client.recv(1024).decode("utf-8"))
client.send(b"ok,ready")
receive_size = 0
data = b""
while receive_size < send_size:
result = client.recv(1024)
receive_size += len(result)
data += result
print(data.decode("utf-8"))
client.close()