一言以蔽之：根据NVIDIA官网的教程安装。
NVIDIA cuda-toolkitdeveloper.nvidia.com
上面这句是全文的干货，读者看到这里就够了。
下面是心路历程
安装和配置CUDA是跑深度学习程序前必要的一步，通常有两种安装方式：
- Conda安装（省事的方式）：用Anaconda，e.g., 用如下命令安装pytorch的时候，conda会自动配置好相应的cuda，无需自己手动安装。
conda
- 手动安装：从官网下载CUDA自己安装和配置。
Q: 什么是CUDA? A: GPU高性能计算库。
CUDA官网的介绍：The NVIDIA® CUDA® Toolkit provides a development environment for creating high performance GPU-accelerated applications.
Conda安装CUDA的适用场景
笔者平时采用的是第一种方式，用conda create --name myenv python=3.6 创建一个新的python的环境，然后直接用conda安装pytorch，很方便省事，更重要的是方便管理不同的环境，比如有的程序需要pytorch 0.4，有的需要pytorch 1.0，conda能很方便的创建并管理不同的环境，使得不同的版本互不干扰。Conda官网的教程也很详实。
Getting started with condadocs.conda.io
手动安装CUDA的适用场景
但有时候就需要采用手动安装CUDA的方式，必须Github里有的开源程序用CUDA自己写了一个layer，在跑程序之前就需要先编译一下，第一种用conda安装的方式就不再适用。
笔者没有专业的计算机背景，遇到这种情况，通常就是百度里搜索一下：Ubuntu 18.04 安装CUDA 10.0，然后会搜出来一堆教程，但这些教程的质量参差不齐，有时候能给很大的帮助，有的时候就要走弯路。
少走弯路的安装教程
但其实官网就提供了非常详实的教程（英文），按照官网的教程，出错的概率很低，而且教程是随着新版本的发布一直在更新，以目前最新的CUDA 10.1为例，在下载页面就有安装文档。
CUDA Toolkit 10.1 Update 2 Downloaddeveloper.nvidia.com
文档写的非常清楚，如果想安装旧的版本，比如CUDA 10.0，9.0，可以在上面这个页面中点Legacy Releases，里面也有下载链接和文档。
需要注意的是：CUDA安装完后需要配置环境变量（把CUDA添加到路径中），教程里也有详细说明。
补充：命令行输入vim ~/.bashrc，按i（表示进入输入模式），输入上面文档中的命令，按Esc键进入退出模式，再输入:wq保存并退出。
安装配置结束后，如何测试是否安装成功呢？官网教程也有说明，比如运行nvcc -V ，会输出相应的版本信息。
如果想卸载已经安装的版本：
Notes:
- 如果对CUDA新版本的特性不在意的话，推荐安装稳定版本，比如CUDA 10.0, 9.0
- CUDA 10.0用runfile方式安装的话，其安装文件中已经包含了NVIDIA显卡驱动，如果已经安装好了驱动，在安装CUDA 10.0的时候，“是否安装驱动”这步要选NO。
- 安装了CUDA，但有下面的报错，是因为没有配置环境变量（文档中的post-installation actions）。
OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root.
- 安装cudnn也同理，官网有详细的教程（下载时需要注册并登录NVIDIA账户）。
NVIDIA cuDNNdeveloper.nvidia.com
