import multiprocessing as mp
from multiprocessing import Process
class MyProcess(Process):
"""
自定义多进程,继承自原生Process,目的是获取多进程结果到queue
"""
def __init__(self, func, args, q):
super(MyProcess, self).__init__()
self.func = func
self.args = args
self.res = ''
self.q = q
#self._daemonic = True
#self._daemonic = True
def run(self):
self.res = self.func(*self.args)
self.q.put((self.func.__name__, self.res))
def use_multiprocessing(func_list):
#os.system('export PYTHONOPTIMIZE=1') # 解决 daemonic processes are not allowed to have children 问题
q = mp.Queue() # 队列,将多进程结果存入这里,进程间共享, 多进程必须使用 multiprocessing 的queue
proc_list = []
res = []
for func in func_list:
proc = MyProcess(func['func'], args=func['args'], q=q)
proc.start()
proc_list.append(proc)
for p in proc_list:
p.join()
while not q.empty():
r = q.get()
res.append(r)
return res
使用时候,将需要多进程执行的函数和函数的参数当作字段,组成个list 传给use_multiprocessing 方法即可python多进程使用函数封装
原创
©著作权归作者所有:来自51CTO博客作者雷顿学院的原创作品,请联系作者获取转载授权,否则将追究法律责任
上一篇:python 字典转对象
下一篇:hadoop hive 安装
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
python函数详解
位置传参与关键字传参、可变参数、常用内置函数、匿名函数
位置传参 关键字传参 可变参数 内置函数 匿名函数
















