python socket 大数据缓冲区阻塞

原创

mob649e815a6b81 2024-10-02 03:43:38 ©著作权

文章标签 非阻塞服务器大数据 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815a6b81的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python Socket编程中的大数据缓冲区与阻塞

在网络编程中，Socket 是用来实现网络通信的基础工具。在使用 Python 的 socket 模块时，理解大数据的缓冲区（buffer）以及阻塞（blocking）机制显得尤为重要。本文将通过示例和类图来阐述这些概念。

什么是Socket？

Socket 是一种用于在网络上进行通信的端点。通过创建和使用 Socket，程序可以发送和接收数据。在 Python 中，我们可以通过 socket 模块来轻松实现这项功能。

缓冲区

缓冲区是存储在内存中的一个区域，用于临时保存数据。在网络编程中，缓冲区可以提高传输效率，尤其是在涉及大数据时。

示例代码

以下是一个简单的 socket 服务器和客户端的示例，展示了如何使用缓冲区：

# 服务器端
import socket

def start_server():
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.bind(('localhost', 12345))
    server_socket.listen(5)
    print("服务器启动，等待连接...")
    
    while True:
        client_socket, addr = server_socket.accept()
        print(f"连接来自: {addr}")
        
        # 接收大数据
        data = b''
        while True:
            packet = client_socket.recv(4096)  # 缓冲区大小为 4096 字节
            if not packet:
                break
            data += packet
        
        print(f"接收到数据: {data.decode()}")
        client_socket.close()

# 启动服务器
start_server()

# 客户端
import socket

def send_data():
    client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    client_socket.connect(('localhost', 12345))
    
    large_data = "A" * 10000  # 发送 10000 字节的长数据
    client_socket.sendall(large_data.encode())
    client_socket.close()

# 发送数据
send_data()

阻塞

在网络编程中，阻塞是指在发送或接收数据时，程序会等待操作完成再继续执行。这在一些网络环境中可能会导致程序变得不响应。如果长时间没有收到数据，程序也会被阻塞。

示例代码

下面的代码展示了如何使用非阻塞方式：

# 服务器端的非阻塞示例
import socket
import select

def start_non_blocking_server():
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.setblocking(0)  # 设置为非阻塞
    server_socket.bind(('localhost', 12345))
    server_socket.listen(5)
    
    print("非阻塞服务器启动，等待连接...")
    while True:
        try:
            client_socket, addr = server_socket.accept()
            print(f"连接来自: {addr}")
            
            data = b''
            while True:
                packet = client_socket.recv(4096)
                if not packet:
                    break
                data += packet
            
            print(f"接收到数据: {data.decode()}")
            client_socket.close()
        except BlockingIOError:
            continue

# 启动非阻塞服务器
start_non_blocking_server()

类图设计

我们可以用如下的类图来表示以上 Socket 的结构：

classDiagram
    class Socket {
        -host : str
        -port : int
        +connect()
        +send_data()
        +receive_data()
    }
    
    class ServerSocket {
        +start_server()
        +process_request()
    }
    
    class ClientSocket {
        +send_data()
    }
    
    Socket <|-- ServerSocket
    Socket <|-- ClientSocket