在学习多线成编程之前,我们先看看 多任务 的概念。
一、多任务:
1.1 概念:
多任务就是指:同一时间能执行多个任务。比方我们的电脑能一边QQ聊天,一边写论文,还能听歌。
1.2 多任务的优势:
多任务的最大好处是 充分利用CPU资源,提高程序的执行效率。
1.3 多任务的两种表现形式:
(1)并发:
在一段时间内交替去执行多个任务。
例子:
对于单核CPU处理多任务,操作系统轮流让各个任务交替执行。如下图所示:
(2)并行:
在一段时间内真正的同时一起执行多个任务。
例子:
对于多核cpu处理多任务,操作系统会给cpu的每个内核安排一个执行的任务,
多个内核是真正的一起同时执行多个任务。这里需要注意多核cpu是并行的执行多任务,始终有多个任务一起执行。
二、进程:
在python中,想要实现多任务,可以使用多进程来实现。
2.1 进程的概念:
进程(Process) 是资源分配的最小单位,它是操作系统进行资源分配和调度运行的基本单位,通俗理解:
一个正在运行的程序就是一个进程。例如:正在运行的qq,微信等,他们都是一个进程。
注意:一个正在运行的程序才叫进程,而没有运行的程序,只能叫程序,不能叫进程。
同时,一个程序可以有一个或者多个进程。
2.2 多进程的作用:
上图中是一个非常简单的程序,一旦运行hello.py这个程序,按照代码的执行顺序, func_ a函数执行完毕后才能执行func_b函数。如果可以让func a和func _b同时运行,显然执行hello.py这个程序的效率会大大提升。 那怎么实现呢?
接着看:如下图所示,当运行hello.py这个程序的时候,先创建一个主进程,之后再创建了一个子进程,让主进程执行func_a,让子进程执行func_b,这样就使用多进程实现了多任务。
2.3 多进程完成多任务:
(1)进程的创建步骤:
1、导入进程包:
import multiprocessing
2、通过进程类创建进程对象:
进程对象 = multiprocessing.Process(target=任务名)
3、启动进程执行任务:
进程对象.start()
(2)多进程例子:
单进程:
# 多进程例子:
# 下面程序是单进程,先执行唱歌的函数,再执行跳舞的函数。需要3秒完成。
import time
# 唱歌
def sing():
for i in range(3):
print("唱歌...")
time.sleep(0.5)
# 跳舞
def dance():
for i in range(3):
print("跳舞...")
time.sleep(0.5)
if __name__ == "__main__":
sing()
dance()
多进程:
# 多进程例子:
# 下面程序是多进程,先执行唱歌的函数,再执行跳舞的函数。需要1.5秒完成。
import time
import multiprocessing
# 唱歌
def sing():
for i in range(3):
print("唱歌...")
time.sleep(0.5)
# 跳舞
def dance():
for i in range(3):
print("跳舞...")
time.sleep(0.5)
if __name__ == "__main__":
# 2.使用进程类创建进程对象
sing_process = multiprocessing.Process(target=sing)
dance_process = multiprocessing.Process(target=dance)
# 3.使用进程对象启动进程执行指定任务
sing_process.start()
dance_process.start()
2.5 获取进程编号:
'''
# (1)作用:
# 当程序中进程的数量越来越多时,如果没有办法区分主进程和子进程还有不同的子进程,那么就无法进行有效的进程管理,为了方便管理实际上每个进程都是有自己的编号。
# (2)获取进程编号的两种方式:
# (1)获取当前进程编号:
# import os
#
# os.getpid()
# (2)获取当前父进程编号:
# import os
#
# os.getppid()
'''
import os
import time
import multiprocessing
def sing(num, name):
print("唱歌进程的编号:", os.getpid())
print("唱歌进程的父进程编号:", os.getppid())
for i in range(num):
print(name)
print("唱歌...")
time.sleep(0.5)
def dance(num, name):
print("跳舞进程编号:", os.getpid())
print("跳舞父进程编号:", os.getppid())
for i in range(num):
print(name)
print("跳舞。。。")
time.sleep(0.5)
if __name__ == "__main__":
print("主进程的编号:", os.getpid())
sing_process = multiprocessing.Process(target=sing, args=(3, "李华"))
dance_process = multiprocessing.Process(target=dance, kwargs={"num":3,"name":"小明" })
sing_process.start()
dance_process.start()
运行结果:
2.6 进程的注意事项:
(1)主进程会等待所有的子进程完成才结束:
'''
2.6 进程的注意事项:
(1)主进程会等待所有的子进程完成才结束:
如下图所示,打开QQ时会创建一个主进程,而QQ里面有两个子进程。主进程会等待所有的子进程完成才结束:
'''
import time
import multiprocessing
def work():
# 子进程会工作2秒钟
for i in range(10):
print("工作中...")
time.sleep(0.2)
if __name__ == "__main__":
work_process = multiprocessing.Process(target=work)
work_process.start()
# 主进程睡眠1秒
time.sleep(1)
print("主进程执行完了...")
我们发现,虽然打印了主进程执行完了,但是程序还没有结束,这就说明:主进程会等待所有的子进程完成才结束。
但是我们都知道,当我们把QQ的主进程关闭时,子进程都结束了。那怎么做才能当主进程结束时,子进程也结束了呢?
(2)设置守护主进程:
这个就是说,每一个子进程都守护主进程,当主进程结束了之后,子进程直接结束,也就是被销毁。
'''
只需要加一句话:
work_process.daemon = True # 设置子进程 守护 主进程
'''
import time
import multiprocessing
def work():
# 子进程会工作2秒钟
for i in range(10):
print("工作中...")
time.sleep(0.2)
if __name__ == "__main__":
work_process = multiprocessing.Process(target=work)
work_process.daemon = True # 设置子进程 守护 主进程
work_process.start()
# 主进程睡眠1秒
time.sleep(1)
print("主进程执行完了...")
(4)实现代码:
import os
import multiprocessing
def copy_file(file_name, source_dir, dest_dir):
# 1.拼接源文件路径和目标文件路径
source_path = source_dir + "/" + file_name
dest_path = dest_dir + "/" + file_name
# 2.打开源文件和目标文件
with open(source_path, "rb") as source_file:
with open(dest_path, "wb") as dest_file:
# 3.循环读取源文件到目标文件
while True:
data = source_file.read(1024)
if data: # 没到文件的最后一行
dest_file.write(data)
else: # 为空,则说明到最后一行
break
if __name__ == "__main__":
# 1.定义源文件夹和目标文件夹
source_dir = r"D:\python_test\test\多进程"
dest_dir = r"D:\python_test\test\back"
# 2.创建目标文件夹
try:
os.mkdir(dest_dir)
except:
print("目标文件夹已经存在,未创建")
# 3.读取源文件的文件列表
file_list = os.listdir(source_dir)
# 4.遍历文件列表实现拷贝
for file_name in file_list:
# copy_file(file_name, source_dir,dest_dir) # 这个实现是单任务的拷贝
# 5.使用多进程实现多任务拷贝
sub_process = multiprocessing.Process(target=copy_file,
args=(file_name, source_dir, dest_dir))
sub_process.start()