GPU（Graphics Processing Unit，图形处理器）又被称作显示核心、视觉处理器、显示芯片，是一种专为并行处理而设计的微型处理器，非常擅长处理大量简单任务，包括图形和视频渲染。

GPU根据接入系统方式分为集成型GPU（Integrated GPU，iGPU）和离散型GPU（Discrete GPU ，dGPU）两种，前者就是我们日常所说的集成显卡/核芯显卡，后者就是我们日常所说的独立显卡。

计算机基础入门2：GPU_GPU

发展至今，GPU不仅为个人电脑、服务器和移动设备进行图形处理工作，还主要应用在工作站、游戏机、嵌入式设备、数据中心等各种需要渲染图形或高性能计算的场景。

GPU的工作通俗理解是为完成3D图形的生成，将图形映射到相应的像素点上，对每个像素进行计算确定最终颜色并完成输出。

其工作原理与CPU 类似，都是通过执行指令来完成计算任务。不同的是，CPU 是通过串行执行指令的方式来完成计算任务，而GPU是通过并行执行指令的方式来完成计算任务。GPU 的并行计算方式可同时执行多个任务，大大提高计算效率和速度。

GPU的工作原理流程如下：

1. GPU包含多个核心,每个核心都可以独立执行命令。

2. 每个核心具有自己的存储器，用于存储指令和数据。

3. GPU会接收来自CPU的指令，并把它们分发到多个核心中进行处理。

4. GPU会把处理后的数据传输回CPU，以便CPU可以使用它。

5. GPU的性能取决于其内部的核心数量、时钟频率以及RAM容量。

计算机基础入门2：GPU_GPU_02

GPU和CPU都有各自的优势和适用场景，通常是相互协作。如在机器学习中，CPU通常用于数据的预处理和模型的训练过程，而GPU则用于模型的计算推理过程。

在眼下的算力时代，GPU通用计算技术发展在浮点运算、并行计算等部分计算方面，可提供数十倍乃至于上百倍于CPU 的性能。

随着云计算、人工智能等高性能异构计算的发展，GPU并行计算的优势被进一步发掘，成为高性能计算领域的“宠儿”。

英伟达（NVIDIA）是一家人工智能计算公司。市值11380.85亿美元，创立于1993年，美籍华人Jensen Huang（黄仁勋）是创始人兼CEO。2023年5月30日，NVIDIA成为首家市值达到1万亿美元的芯片企业，史上第九家跨入美元市值“万亿俱乐部”的企业。

计算机基础入门2：GPU_服务器_03

今天来了解下英伟达高端GPU产品：

| 英伟达GPU的核心参数

了解下英伟达 NVIDIA GPU 的核心参数：

  • CUDA Core：CUDA Core 是 NVIDIA GPU上的计算核心单元，用于执行通用的并行计算任务，是最常看到的核心类型。NVIDIA 通常用最小的运算单元表示自己的运算能力，CUDA Core 指的是一个执行基础运算的处理元件，我们所说的 CUDA Core 数量，通常对应的是 FP32 计算单元的数量。
  • Tensor Core：Tensor Core 是 NVIDIA Volta 架构及其后续架构（如Ampere架构）中引入的一种特殊计算单元。它们专门用于深度学习任务中的张量计算，如矩阵乘法和卷积运算。Tensor Core 核心特别大，通常与深度学习框架（如 TensorFlow 和 PyTorch）相结合使用，它可以把整个矩阵都载入寄存器中批量运算，实现十几倍的效率提升。
  • RT Core：RT Core 是 NVIDIA 的专用硬件单元，主要用于加速光线追踪计算。正常数据中心级的 GPU 核心是没有 RT Core 的，主要是消费级显卡才为光线追踪运算添加了 RTCores。RT Core 主要用于游戏开发、电影制作和虚拟现实等需要实时渲染的领域。

| 英伟达 GPU的架构演进

了解 GPU 核心参数后，再看 NVIDIA GPU 架构演进。

计算机基础入门2：GPU_GPU_04

可知，我们先简单了解下这些架构：

  • Volta 架构：Volta 架构是 NVIDIA GPU 的第六代架构，发布于 2017 年。Volta 架构专注于深度学习和人工智能应用，并引入了 Tensor Core。
  • Turing 架构：Turing 架构是 NVIDIA GPU 的第七代架构，发布于 2018 年。Turing 架构引入了实时光线追踪（RTX）和深度学习超采样（DLSS）等重要功能。
  • Ampere 架构：Ampere 架构是 NVIDIA GPU 的第八代架构，2020 年发布。Ampere 架构在计算能力、能效和深度学习性能方面都有重大提升。Ampere 架构的 GPU 采用了多个流多处理器（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。它还引入了第三代 Tensor Core，提供更强大的深度学习计算性能。Ampere 架构的 GPU 还具有更高的内存容量和带宽，适用于大规模的数据处理和机器学习任务。
  • Hopper 架构：Hopper 架构是 NVIDIA GPU 的第九代架构，2022 年发布。相较于 Ampere，Hopper 架构支持第四代 Tensor Core，且采用新型流式处理器，每个 SM 能力更强。Hopper 架构在计算能力、深度学习加速和图形功能方面带来新的创新和改进。

|  英伟达 GPU的主打型号

目前英伟达主打的高端GPU型号有：V100、A100/A800、H100/H800

V100 是前一代的“卡皇”，而 H100 则是新一代的“卡皇”。

计算机基础入门2：GPU_Core_05

计算机基础入门2：GPU_服务器_06