(base) root@sh:/home/sh# nvidia-smi

Wed Feb 21 16:04:37 2024       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.154.05             Driver Version: 535.154.05   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3090        Off | 00000000:17:00.0 Off |                  N/A |
| 30%   32C    P0             111W / 350W |      0MiB / 24576MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
|   1  NVIDIA GeForce RTX 3090        Off | 00000000:65:00.0 Off |                  N/A |
| 30%   32C    P0              93W / 350W |      0MiB / 24576MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|  No running processes found

nvidia-smi输出来看，你的系统已经成功识别了NVIDIA显卡，并且显示了CUDA的版本为12.2，这意味着CUDA已经被安装在系统上了。nvidia-smi工具显示的CUDA版本是指与当前NVIDIA驱动兼容的CUDA版本。这个版本信息表示你的显卡驱动支持开发和运行针对CUDA 12.2版本编写的应用程序。

然而，要开始开发基于CUDA的应用程序，除了驱动程序自带的CUDA支持外，你可能还需要安装CUDA Toolkit，它提供了编译和开发CUDA应用所需的编译器（nvcc）、库和头文件。如果你打算使用特定的深度学习框架或库，如TensorFlow或PyTorch，还可能需要安装与之兼容的CUDA Toolkit版本。

验证CUDA Toolkit是否安装

要确认CUDA Toolkit是否已安装，你可以检查编译器nvcc是否存在：

nvcc --version

如果系统能找到nvcc并返回版本信息，那么CUDA Toolkit已经安装在你的系统上。如果返回的是命令找不到的错误，则需要根据之前的指南安装CUDA Toolkit。

安装CUDA Toolkit（如果尚未安装）

如果你发现nvcc不可用，按照以下步骤安装CUDA Toolkit：

  1. 访问NVIDIA CUDA Toolkit网站下载与你的系统兼容的CUDA版本。
  2. 选择适合你的操作系统和架构的安装包。
  3. 根据下载页面提供的安装指南完成安装。

配置环境变量

安装CUDA Toolkit后，确保配置了正确的环境变量，以便在命令行中使用CUDA工具。通常需要添加以下行到你的.bashrc或.profile文件中：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后，重新加载配置文件或重启终端，再次检查nvcc --version以确认安装。

这样，你就完成了CUDA的安装，可以开始CUDA编程或使用CUDA加速的应用程序了。

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network

CUDA Toolkit的安装_应用程序