文章目录
- 一、进程间通信
- 二、队列
- 2.1 概念介绍——multiprocess.Queue
- 2.1.1 方法介绍
- 2.1.2 其他方法(了解)
- 三、代码实例——multiprocess.Queue
- 3.1 Queue用法
- 3.2 进程之间发送数据
- 3.3 批量生产数据放入Queue再批量获取结果
- 四、线程 Queue
一、进程间通信
加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信，但问题是：
- 效率低（共享数据基于文件，而文件是硬盘上的数据）
- 需要自己加锁处理
因此我们最好找寻一种解决方案能够兼顾：
- 效率高（多个进程共享一块内存的数据）
- 帮我们处理好锁问题。
这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制：队列和管道。
队列和管道都是将数据存放于内存中，队列又是基于（管道+锁）实现的，可以让我们从复杂的锁问题中解脱出来，我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。
二、队列
2.1 概念介绍——multiprocess.Queue
创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。
Queue( [maxsize] )创建共享的进程队列。
参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。
实例化得到对象
maxsize参数 表示Queue 的大小是多少，不传的话，默认为无限大
queue = Queue(3)
底层队列使用管道 + 锁实现。
2.1.1 方法介绍
q.put(item, block=True, timeout=None )
将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。
block控制阻塞行为，如果设置为False，将引发Queue.Empty异常（定义在Queue库模块中）
timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。
q.get( block=True, timeout=None)：返回q中的一个项目。
如果q为空，此方法将阻塞，直到队列中有项目可用为止
block用于控制阻塞行为，如果设置为False，将引发Queue.Empty异常（定义在Queue模块中）
timeout是可选超时时间，用在阻塞模式中, 如果在制定的时间间隔内没有队列仍然没有值可以取出，那么就会报错
q.get_nowait() ：同q.get(False)方法。
get_nowait ( ) : 当管道中没有数据时，进程不会阻塞，直接报错
q.qsize()
返回队列中目前队列中的值数量。
此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。
q.empty()
如果调用此方法时 q为空，返回True。
如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。
q.full()
如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的（参考
q.empty()方法）。
2.1.2 其他方法(了解)
q.close()
关闭队列，防止队列中加入更多数据。
调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。
如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。
例如，如果某个使用者正被阻塞在
get()操作上，关闭生产者中的队列不会导致get()方法返回错误。
q.cancel_join_thread()
不会在进程退出时自动连接后台线程。这可以防止
join_thread()方法阻塞。
q.join_thread()
连接队列的后台线程。此方法用于在调用
q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用
q.cancel_join_thread()方法可以禁止这种行为。
三、代码实例——multiprocess.Queue
3.1 Queue用法
from multiprocessing import Queue
q=Queue(3)
#put ,get ,put_nowait,get_nowait,full,empty
q.put(1)
q.put(1)
q.put(1)
# q.put(1) # 如果队列已经满了，程序就会停在这里，等待数据被别人取走，再将数据放入队列。
# 如果队列中的数据一直不被取走，程序就会永远停在这里。
try:
q.put_nowait(3) # 可以使用put_nowait，如果队列满了不会阻塞，但是会因为队列满了而报错。
except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去，但是会丢掉这个消息。
print('队列已经满了')
# 因此，我们再放入数据之前，可以先看一下队列的状态，如果已经满了，就不继续put了。
print(q.full()) #满了
print(q.get())
print(q.get())
print(q.get())
# print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。
try:
q.get_nowait(3) # 可以使用get_nowait，如果队列满了不会阻塞，但是会因为没取到值而报错。
except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。
print('队列已经空了')
print(q.empty()) #空了上面这个例子还没有加入进程通信，只是先来看看队列为我们提供的方法，以及这些方法的使用和现象。
3.2 进程之间发送数据
import time
from multiprocessing import Process, Queue
def f(q):
q.put([time.asctime(), 'from Eva', 'hello']) #调用主函数中p进程传递过来的进程参数 put函数为向队列中添加一条数据。
if __name__ == '__main__':
q = Queue() #创建一个Queue对象
p = Process(target=f, args=(q,)) #创建一个进程
p.start()
print(q.get())
p.join()上面是一个queue的简单应用，使用队列q对象调用get函数来取得队列中最先进入的数据。 接下来看一个稍微复杂一些的例子：批量生产数据放入队列再批量获取结果。
3.3 批量生产数据放入Queue再批量获取结果
import os
import time
import multiprocessing
# 向queue中输入数据的函数
def inputQ(queue):
info = str(os.getpid()) + '(put):' + str(time.asctime())
queue.put(info)
# 向queue中输出数据的函数
def outputQ(queue):
info = queue.get()
print ('%s%s%s'%(str(os.getpid()), '(get):',info))
# Main
if __name__ == '__main__':
multiprocessing.freeze_support()
record1 = [] # store input processes
record2 = [] # store output processes
queue = multiprocessing.Queue(3)
# 输入进程
for i in range(10):
process = multiprocessing.Process(target=inputQ,args=(queue,))
process.start()
record1.append(process)
# 输出进程
for i in range(10):
process = multiprocessing.Process(target=outputQ,args=(queue,))
process.start()
record2.append(process)
for p in record1:
p.join()
for p in record2:
p.join()四、线程 Queue
在同一进程下的不同线程，数据是共享的，但是为了数据的安全考虑，同样需要对线程加锁，所以线程也有队列
线程队列从threading模块中导入Queue, 使用方法与进程队列是一样的
