概念解析

首先要明白,普通的Python代码是无法使用GPU加速的,只能在GPU上跑针对GPU设计的程序。

硬件加速必须要用硬件语言实现。

查询Python+GPU关键字,除了TensorFlow,另外出镜率比较高的几个概念是:NumbaCUDAPyCUDAminpy

要理解这些,需要对Python的理解更底层一些。


GPU概念相关

GPUGraphics Processing Unit),视觉处理器图形显示卡

GPU负责渲染出2D3DVR效果,主要专注于计算机图形图像领域。后来人们发现,GPU非常适合并行计算,可以加速现代科学计算,GPU也因此不再局限于游戏视频领域。

无论是CPU还是GPU,在进行计算时,都需要用核心(Core,也就是ALU+寄存器)来做算术逻辑运算。

一个核心只能顺序执行某项任务,为了同时并行处理更多任务,芯片公司开发出了多核架构,只要相互之间没有依赖,每个核心做自己的事情,多核之间互不干扰,就可以达到并行计算的效果。

CPU的局限

个人桌面电脑CPU只有2~8个核心Core,数据中信的服务器上也只有20到40个核心,GPU却有上千个核心。

然而,CPUGPU的核心并不相同,GPU的核心只能专注于某些特性的任务,而CPU核心具有更广泛的计算能力。

CPU更通用,起到协调管理的作用,GPU功能局限在计算特定任务。

CPU与GPU交互

python查看GPU的配置属性 python gpu_python查看GPU的配置属性

CPU主存(Main Memory)中读写数据,并通过总线(Bus)与GPU交互。

GPU在许多计算核心之外,也有自己独立的存储,称为显存

GPU核心在做计算时,只能直接从显存中读写数据,程序员需要在代码中指明哪些数据需要从内存显存之间相互拷贝,这些数据传输都是在总线上,因此总线NVLink技术、PCI-E技术…)的传输速度和带宽也会是部分计算任务的瓶颈。

因为CPUGPU是分开的,在英伟达的设计理念中,CPU和主存被称为HostGPU被称为Device

Host和·概念会贯穿整个英伟达GPU编程。

使用CPUGPU组合来加速计算,也被称为异构计算

世界第一的超级计算机Summit使用了9216个IBM POWER9 CPU27648个英伟达Tesla GPU

GPU架构

Turing 图灵
  • 2018年发布
  • 消费显卡:GeForce 2080 Ti
Volta 伏特
  • 2017年发布
  • 专业显卡:Tesla V100(16或32GB显存,5120个核心)
Pascal 帕斯卡
  • 2016年发布
  • 专业显卡:Tesla P100(12或16GB显存,3584个核心)

英伟达设计理念中,多个小核心组成一个Streaming MultiprocessorSM),一张GPU卡又多个SM

英伟达主要以SM为运算和调度的基本单元

单个SM的结构包括:

针对不同计算的小核心(绿色小格子),包括优化深度学习的TENSOR CORE,32个64位浮点核心(FP64),64个整型核心(INT),64个32位浮点核心(FP32);
计算核心直接从寄存器(Register)中读写数据;
调度和分发器(SchedulerDispatch Unit);
L0L1级缓存;

前面以物理学家命名的架构区分主要针对设计,对消费者而言,英伟达主要又两条产品线:

消费级产品 GeForce系列:GeForce 2080 Ti
高性能计算产品 Telsa系列:Telsa V100Telsa P100Telsa P40

GPU的软件生态

前面描述的都是GPU的物理层面的结构,英伟达之所以能在人工智能时代成功,除了上述硬件卓越之外,更主要的是率先提供了可编程的软件架构。

早期GPU编程不友好,2007英伟达发布CUDA编程模型之后改变了这一情形。

CUDA对于GPU就像个人电脑上的Windows、手机上的安卓系统。一旦建立好系统,吸引了开发者,用户非常依赖这套软件生态体系。

英伟达软件栈:

python查看GPU的配置属性 python gpu_GPU_02

GPU编程方法:

直接使用CUDAC/C++版本进行编程;
Python使用Numba库调用CUDA

CUDA及其软件栈的缺点:

软件环境复杂,库及版本很多;
顶层应用严重依赖底层工具库,入门者很难快读配置好一整套环境;多环境配置困难;
用户只能使用英伟达的显卡,成本高;