上文锁能解决变量的共享的问题,但是不常见,锁住别人干嘛,咱们不如来好好的排下队。这样就不会死锁了,其实queue是自带锁。
队列
queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3是小写的queue即可
在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性(简单的来说就是多线程需要加锁,很可能会造成死锁,而queue自带锁。所以多线程结合queue会好的很多。
导入:from queue import Queue
我们还是先看一个案例。queue 就是一个put和get两个操作,一个走开一个进入。
import time
from queue import Queue
from threading import Thread
from random import randint
# 3个队列
my_queue = Queue(3)
def f1(my_queus):
for i in range(3):
time.sleep(1)
num = randint(0,10)
print(num)
my_queue.put(num)
def f2(my_queus):
for i in range(3):
time.sleep(1)
num = my_queue.get()
print(num)
t1 = Thread(target=f1,args=(my_queue,))
t2 = Thread(target=f2,args=(my_queue,))
t1.start()
t2.start()
t1.join()
t2.join()
执行一下,randint是随机在0-10取一个数。
10
10
3
3
5
5
这样就是进一个出一个。
queue还有下面的用法,不说了
线程池
线程多了,是不是要给一个池放在一起比较好,所以 线程池就出来了。这样有任务了,我找一个线程来干活。
使用的是 multiprocessing这个标准库,ThreadPool这个类比之前的Thread这个类多了Pool。
来看demo,用这个ThreadPool。ThreadPool(3)就是在线程池中有3个线程,apply_async就是分配任务,传入的是一个函数
from multiprocessing.pool import ThreadPool
import time
def hello(name):
print('hello,{}'.format(name))
time.sleep(2)
print('Bye')
t = ThreadPool(3)
for i in range(3):
t.apply_async(hello,args=(i,))
t.close()
t.join()
我们来运行下
OUT:
几乎一起完成
hello,0 hello,1 hello,2
几乎一起完成
Bye Bye Bye
三个线程一起干活,每一个线程完成我们的hello任务,最后一起完成了。
上面我们使用的for i in range的方法执行任务,因为任务相同,传入的参数也相同。
我们再看最后一个,传入*args, **kwargs参数
from multiprocessing.pool import ThreadPool
import time
pool = ThreadPool(2)
def task1():
time.sleep(1)
print("任务1完成")
def task2(*args,**kwargs):
time.sleep(1)
print("任务2完成:",args,kwargs)
pool.apply_async(task1)
pool.apply_async(task2,args=(1,2),kwds={'a':1,'b':2})
print("任务提交完成")
pool.close()
pool.join()
print("任务完成")
执行如下:
任务提交完成
任务1完成
任务2完成:(1, 2) {'a': 1, 'b': 2}
任务完成
对于进程和线程就到这里,使用进程和线程,就是在爬虫中,可以提高爬虫速度,就没了。