Python使用Numba装饰器进行加速
- 前言
- 前提条件
- 相关介绍
- 实验环境
- Numba装饰器进行加速
- 未加速的代码
- 输出结果
- @numba.jit加速的代码
- 输出结果
前言
- 由于本人水平有限，难免出现错漏，敬请批评改正。
- 更多精彩内容，可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
- 基于DETR的人脸伪装检测
- YOLOv7训练自己的数据集（口罩检测）
- YOLOv8训练自己的数据集（足球检测）
- YOLOv5：TensorRT加速YOLOv5模型推理
- YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
- 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
- YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
- YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
- Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
- YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
- 使用Kaggle GPU资源免费体验Stable Diffusion开源项目
前提条件
- 熟悉Python
相关介绍
- Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
- Python是一种非常流行和强大的编程语言，它有很多优点，比如简洁、易读、灵活、跨平台、丰富的库等。但是，Python也有一些缺点，其中之一就是运行速度相对较慢。
- Python为什么慢呢？这主要有以下几个原因：
- Python是一种解释型语言，也就是说，它的代码在运行时才被解释器转换成机器语言，而不是像编译型语言那样，提前编译成可执行文件。这样就增加了运行时的开销，降低了执行效率。
- Python使用了动态类型，也就是说，它的变量在运行时才确定类型，而不是像静态类型那样，提前声明类型。这样就增加了运行时的类型检查和转换，降低了执行效率。
- Python使用了全局解释器锁（GIL），也就是说，它的多线程在同一时刻只能有一个线程执行，而不是像多核处理器那样，可以并行执行多个线程。这样就限制了Python的并发能力，降低了执行效率。
- Python的运行速度可以通过一些方法进行优化和加速，比如：
- 使用PyPy，这是一种基于JIT（即时编译）技术的Python解释器，它可以在运行时动态编译Python代码，提高执行效率。
- 使用Numba，这是一种基于LLVM（低级虚拟机）技术的Python库，它可以将Python函数编译成机器码，提高执行效率。
- 使用Cython，这是一种基于C语言的Python扩展，它可以将Python代码转换成C代码，提高执行效率。
- 使用多进程，这是一种利用多核处理器的并行计算方法，它可以创建多个进程，避免GIL的限制，提高执行效率。
- Numba是一个用于Python的开源即时编译器，它可以将Python代码编译为机器代码，从而提高Python代码的执行速度。
- Numba的优缺点：
- 优点：
- Numba可以显著提高Python代码的执行速度，特别是在处理大量数据时。
- Numba使用LLVM（低级虚拟机）技术将Python函数编译成机器码，从而避免了Python解释器的性能瓶颈。
- Numba可以通过使用JIT（Just-In-Time）编译技术，将Python代码转换为机器代码，即当你调用Python函数时，你的全部或部分代码就会被转换为“即时”执行的机器码，它将以你的本地机器码速度运行，从而避免了Python解释器的性能瓶颈。
- Numba支持多种CPU架构和操作系统，包括x86、ARM和PowerPC。
- Numba可以与NumPy和SciPy等科学计算库无缝集成。
- 缺点：
- Numba只能加速一部分Python代码，例如数值计算密集型代码，而对于I/O密集型代码，Numba的加速效果不明显。
- Numba需要对代码进行修改，以便使用其加速功能，这可能需要一些额外的工作。
- Numba的性能取决于代码的质量和结构，因此需要一定的编程经验和技能。
- 以下是一个简单的numba加速例子，它比较了使用numba和不使用numba的情况下，计算斐波那契数列的第n项的时间消耗。
import time
import numba
import warnings
warnings.filterwarnings('ignore')
# 不使用numba的函数
def fib(n):
if n < 2:
return n
return fib(n-1) + fib(n-2)
# 使用numba的函数
@numba.jit
def fib_numba(n):
if n < 2:
return n
return fib_numba(n-1) + fib_numba(n-2)
# 测试两个函数的运行时间
n = 40
start = time.time()
fib(n)
end = time.time()
print(f'不使用numba的时间：{end - start}秒')
start = time.time()
fib_numba(n)
end = time.time()
print(f'使用numba的时间：{end - start}秒')不使用numba的时间：15.397910833358765秒
使用numba的时间：0.731497049331665秒实验环境
- Python 3.x （面向对象的高级语言）
- Numba 0.58.1（Python第三方库）
pip install numba -i https://pypi.tuna.tsinghua.edu.cn/simple
Numba装饰器进行加速
未加速的代码
import time
def one_cycle():
num = 0
for i in range(1, 1000000):
num +=i
return num
def double_cycle():
num = 0
for i in range(1000):
for j in range(1000):
num +=i*j
return num
def triple_cycle():
num = 0
for i in range(100):
for j in range(100):
for k in range(100):
num += i*j*k
return num
if __name__=="__main__":
start_time = time.time()
for i in range(100):
one_cycle()
end_time = time.time()
print("one_cycle函数运行时间:",(end_time-start_time)/100)
start_time = time.time()
for i in range(100):
double_cycle()
end_time = time.time()
print("double_cycle函数运行时间:",(end_time-start_time)/100)
start_time = time.time()
for i in range(100):
triple_cycle()
end_time = time.time()
print("triple_cycle函数运行时间:",(end_time-start_time)/100)输出结果
one_cycle函数运行时间: 0.021781625747680663
double_cycle函数运行时间: 0.031956143379211426
triple_cycle函数运行时间: 0.042625854015350344@numba.jit加速的代码
import time
import numba
import warnings
warnings.filterwarnings('ignore')
@numba.jit
def one_cycle():
num = 0
for i in range(1, 1000000):
num +=i
return num
@numba.jit
def double_cycle():
num = 0
for i in range(1000):
for j in range(1000):
num +=i*j
return num
@numba.jit
def triple_cycle():
num = 0
for i in range(100):
for j in range(100):
for k in range(100):
num += i*j*k
return num
if __name__=="__main__":
start_time = time.time()
for i in range(100):
one_cycle()
end_time = time.time()
print("one_cycle函数运行时间:",(end_time-start_time)/100)
start_time = time.time()
for i in range(100):
double_cycle()
end_time = time.time()
print("double_cycle函数运行时间:",(end_time-start_time)/100)
start_time = time.time()
for i in range(100):
triple_cycle()
end_time = time.time()
print("triple_cycle函数运行时间:",(end_time-start_time)/100)输出结果
one_cycle函数运行时间: 0.002056455612182617
double_cycle函数运行时间: 0.00046929597854614255
triple_cycle函数运行时间: 0.0007887816429138183
