进程池
进程池:就是创建一定数量的进程 , 当有任务进来执行的时候 , 那么在池中的某一个进程进行处理任务 , 当进程处理任务完毕 之后不关闭 , 而是进入池中等到任务 。
进程池不会增加操作系统的调度难度 , 还节省了开闭进程的时间 , 在一定程度上能够事项并发效果
进程池的导入
# 进程池
from concurrent.futures import ProcessPoolExecutor
# 线程池
from concurrent.futures import ThreadPoolExecutor
from concurrent.futures import ProcessPoolExecutor
import time
# 设置进程池对象 , 传入参数,就代表这个进程池的大小(有多少个进程)
# 没有参数,会默认开设当前计算机CPU个数的进程
pool_p = ProcessPoolExecutor(10)
def func(name):
print(f'{name}')
time.sleep(2)
if __name__ == '__main__':
for i in range(20):
pool_p.submit(func , i)
# submit(func , i)这个是有返回值的 , 返回的是Future对象 , 这个对象result方法,该方法是用来获取返回值的正在数据结果
from concurrent.futures import ProcessPoolExecutor
import time
# 设置进程池对象 , 传入参数,就代表这个进程池的大小(有多少个进程)
# 没有参数,会默认开设当前计算机CPU个数的进程
pool_p = ProcessPoolExecutor(10)
def func(n):
# print(f'{n}')
time.sleep(2)
return n + 1
if __name__ == '__main__':
for i in range(20):
res = pool_p.submit(func , i)
print(res) # 获取到Future对象
print(res.result()) # 通过result方法获取到对象中每个任务返回的数据
# shutdown() 等待进程池中所有进程任务结束之后 , 在执行主进程
from concurrent.futures import ProcessPoolExecutor
import time
# 设置进程池对象 , 传入参数,就代表这个进程池的大小(有多少个进程)
# 没有参数,会默认开设当前计算机CPU个数的进程
pool_p = ProcessPoolExecutor(10)
def func(n):
# print(f'{n}')
time.sleep(2)
return n + 1
if __name__ == '__main__':
# 将所有任务的返回值添加到列表
ls = []
for i in range(20):
res = pool_p.submit(func , i)
ls.append(res)
print(res) # 获取到Future对象
# 等待进程池中所有进程任务结束之后 , 在执行主进程
pool_p.shutdown()
for i in ls:
print(i.result()) # 通过result方法获取到对象中每个任务返回的数据
# 进程池/线程池有一个回调机制——add_done_callback()
from concurrent.futures import ProcessPoolExecutor
import time
# 设置进程池对象 , 传入参数,就代表这个进程池的大小(有多少个进程)
# 没有参数,会默认开设当前计算机CPU个数的进程
pool_p = ProcessPoolExecutor(10)
def func(n):
# print(f'{n}')
time.sleep(2)
return n + 1
def f(fun):
print(f'获取到返回值结果{fun.result()}')
if __name__ == '__main__':
# 将所有任务的返回值添加到列表
ls = []
for i in range(20):
res = pool_p.submit(func , i)
# 回调机制不需要对任务进行参数传递 , 参数会根据对象进行传入
res.add_done_callback(f)
进程是依靠电脑的操作系统进行调度;
线程是依靠电脑的CPU进行调度;
那么两者的调度顺序也是有操作系统或者CPU使用的调度决定的。