python 多线程拷贝大文件

一、socket介绍

1、简介

        首先，我们要知道socket就是“套接字”的意思。我们可以把它类比于我们的快递公司：我们收发快递的时候，我们只要把货物交给快递公司，快递公司负责好货物收揽，包装，分发到各个地方，统一配送，在目的地址的配送员接收，接着联系收件人，然后收件人负责接收就可以了。Socket也如此，像快递公司一样，我们将数据给了socket，然后socket通过各种函数实现数据封装，建立目标主机端口连接，在客户端的socket进行数据接收，交付给主机。

 

2、基本参数

Socket函数使用的格式为：socket(family,type[,protocol])

family：指定应用程序使用的通信协议的协议族，对于TCP/IP协议族，该参数为AF_INET，以下为该参数的一些常用选项

Family参数	描述
socket.AF_UNIX	只能够用于单一的Unix系统进程间通信
socket.AF_INET	服务器之间网络通信
socket.AF_INET6	IPv6

type：套接字的类型，以下为该参数的一些常用选项

Type参数	描述
socket.SOCK_STREAM	流式socket , 当使用TCP时选择此参数
socket.SOCK_DGRAM	数据报式socket ,当使用UDP时选择此参数
socket.SOCK_RAW	原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。

 

protocol：指明所要接收的协议类型，通常为0或者不填。以下为该参数的一些常用选项

Type参数	描述
socket.IPPROTO_RAW	相当于protocol=255，此时socket只能用来发送IP包，而不能接收任何的数据。发送的数据需要自己填充IP包头，并且自己计算校验和
socket.IPPROTO_IP	相当于protocol=0，此时用于接收任何的IP数据包。其中的校验和和协议分析由程序自己完成。

 

示例：

        创建TCP Socket：s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

        创建UDP Socket：s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

 

3、socket相关的函数

socket函数	描述	函数类型
s.bind(address)	将套接字绑定到地址, 在AF_INET下,以元组（host,port）的形式表示地址.	服务端函数
s.listen(backlog)	开始监听TCP传入连接。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	接受TCP连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
s.connect(address)	连接到address处的套接字。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。	客户端函数
s.connect_ex(adddress)	功能与connect(address)相同，但是成功返回0，失败返回error的值。
s.recv(bufsize[,flag])	接受TCP套接字的数据。数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。	公共函数
s.send(string[,flag])	发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall(string[,flag])	完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom(bufsize[.flag])	接受UDP套接字的数据。与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto(string[,flag],address)	发送UDP数据。将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字。
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

 

二、创建服务端与客户端：

了解了socket的基本原理和用法之后，我们来创建一个简单的服务端和客户端程序，来实现通信，每次服务端或客户端仅能发送一条信息。

1、服务端

import socket  

# 1、先创建一个socket对象
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  

# 2、调用socket对象里的bind方法绑定IP和端口，bind只有一个由本机的IP和端口号构成的元组类型的参
# 数。host如果填0.0.0.0表示任何ip，本地测试也可以用127.0.0.1。另外端口号最好大于1024。
s.bind(("127.0.0.1",1234))  

# 3、设置最大监听的连接数
s.listen(2) 

# 4、accept方法接收客户端的连接，无参数，程序进入阻塞模式直到有客户端连接，接收到连接后会返回
# 一个元组形式的参数：sock为新产生的socket对象，addr为客户端的ip。
sock, addr = s.accept()  

# 5、使用accept返回的新socket对象sock的recv和send方法，来收发数据
while True:  # 循环接收并发送
    recv_text = sock.recv(1024).decode('utf8')   # 服务端先阻塞，接收数据  
    if recv_text == "exit":  
        break  
    print(recv_text)  
    
    send_text = input() 
    sock.send(send_text.encode('utf8'))        # 再发送数据数据  
    if send_text == "exit":  
        sock.close()                   # 关闭sock连接
        break  


# 注：send方法在Python2里参数是字符串，在Python3里参数是二进制对象，所以必须先用encode('utf8')
# 将字符串重新编码

# recv方法参数为读取的缓冲区大小size，与send方法同理，接收到数据后必须用decode('utf8')将数据
# 解码成可读的字符串

 

2、客户端

import socket

# 先创建一个socket类型的对象
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 连接服务端
sock.connect(("127.0.0.1", 1234))

# 收发数据及关闭连接
while True:
    send_text = input()
    sock.send(send_text.encode('utf8'))  # 客户端先发送信息
    if send_text == "exit":
        sock.close()
        break
    else:
        recv_text = sock.recv(1024).decode("utf8")
        print(recv_text)
        if recv_text == "exit":
            sock.close()
            break

 

 

三、收发改进——使用两个线程分别进行收和发

由于input函数的阻塞作用，以上的代码发完一条信息，只能等待另一端的信息发过来才能继续发送。 这时就要考虑将输入与接收分开来，将接收的函数（或方法）从主线程里抓出来丢到另一个线程里单独运行。

python中多线程的用法示例：

import threading   #引入多线程模块

t=threading.Thread(target=rec,args=(sock,))    # 创建多线程
t.start()                                      # 启动多线程

# 注：target参数为需要跑起来的函数名，仅函数名，不需要括号，args为传递到target函数里的参数
#（元组类型），这里仅传入收发数据用的socket对象即可

修改后的代码：

1、服务端：

import socket
import threading

Status=True
# 接收信息函数
def rec(sock):
    global Status
    while Status:
        recv_text=sock.recv(1024).decode('utf8')  #函数的核心语句就一条接收方法
        if recv_text == "exit":
            Status=False
        print(recv_text)

# 定义套接字
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.bind(("127.0.0.1",9999))
s.listen(2)
sock,addr=s.accept()

# 开启接收消息线程
trd=threading.Thread(target=rec, args=(sock,))
trd.start()

# 主线程用来发送消息
while Status:
    send_text=input()
    sock.send(send_text.encode('utf8'))
    if send_text == "exit":
        Status=False
s.close()

2、客户端：

import socket
import threading

Status=True
# 接收信息函数
def rec(s):
    global Status
    while Status:
        t=s.recv(1024).decode("utf8")  #客户端也同理
        if t == "exit":
            Status=False
        print(t)

# 定义套接字
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(("127.0.0.1",9999))

# 开启接收消息线程
trd=threading.Thread(target=rec,args=(s,))
trd.start()

# 主线程用来发送消息
while Status:
    send_text=input()
    s.send(send_text.encode('utf8'))
    if send_text == "exit":
        Status=False
s.close()

最后，分别执行客户端和服务器两个文件，就能实现客户端和服务器的收发通信了！快去试试吧！