深度学习环境配置

入门深度学习,首先要做的事情就是要搭建深度学习的环境。不管你是Windows用户,Mac用户还是Ubuntu用户,只要电脑配置允许,都可以做深度学习,毕竟Windows、Mac和Ubuntu系统都可以进行深度学习环境的搭建。接下来就记录下自己在Windows系统上搭建深度学习环境的过程,方便自己存档也为大家提供一个参考。

本次环境配置主要模式是基于Anaconda+PyTorch(GPU版)+CUDA+cuDNN进行搭建的。

所需工具:

Python集成开发环境:Anaconda

CUDA、cuDNN:英伟达提供的针对英伟达显卡的运算平台。用来提升神经网络的运行效率,如果电脑显卡不满足要求也是可以不用安装,使用cpu来进行运算。

开发工具:PyCharm

深度学习库:PyTorch(也可以使用Google开源的TensorFlow平台,不过一般学术界多用PyTorch平台。)

1.安装Anaconda

1.1下载Anaconda

Anaconda官网:https://www.anaconda.com

清华大学开源镜像下载:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

两个网站都可以下载,选择适合自己电脑的版本下载即可。

笔者使用的是python3.8,所以需要在Anaconda官网中找到适用于3.8的版本(网址:Index of /)——Anaconda3-2020.11-Windows-x86_64.exe,下载后进行安装。

python查看显卡个数_python查看显卡个数

1.2安装Anaconda

点击下载后的.exe文件进行安装。安装一般没有大问题,一直点next就行。

python查看显卡个数_CUDA_02

此处如果电脑只有你一个用户的话,也可以选择Just Me; 选择All Users就代表这台电脑上的所有用户均可使用,否则就需要管理员权限。一般选择All Users即可。

python查看显卡个数_人工智能_03

python查看显卡个数_python查看显卡个数_04

python查看显卡个数_CUDA_05

此处注意:文件夹必须是空的,不然会报错;其次文件夹名称中不要出现中文字符。

python查看显卡个数_python查看显卡个数_06

然后安装即可,打开cmd输入python -V查看到的版本是安装anaconda之前的origin-python版本。

1.3添加环境变量

右击“我的电脑”->属性->高级系统设置->环境变量

python查看显卡个数_深度学习_07

选择系统变量的Path进行编辑;

python查看显卡个数_人工智能_08

如果你是直接在D盘建了一个Anaconda3文件夹进行安装,就可以直接将以下四个路径添加进去:

D:\Anaconda3

D:\Anaconda3\Scripts

D:\Anaconda3\Library\mingw-w64\bin

D:\Anaconda3\Library\bin

python查看显卡个数_深度学习_09

以上路径的格式为:你安装的盘符+你的文件夹名称+后面不变的内容;

例如:你把Anaconda安装到了E盘中名为Python的文件夹,那么你的格式为

E:\Python\Library\mingw-w64\bin

其余三个类同,只需修改前面的内容即可。

1.4测试是否安装成功

1.4.1点击Anaconda Navigator

观察是否进入如下页面(反应时间较长),能顺利进入即可:

python查看显卡个数_CUDA_10

此处可能会出现问题:(没有出现闪退问题可以直接跳至1.4.2继续测试)

我在安装anaconda时,首次打开上面这个页面时,比较顺利但是出现了一个更新提示,点击更新完成后,发现再也打不开Anaconda Navigator这个页面了,或者说打开这个页面会闪退,但是其他地方都没有任何问题,只有Anaconda Navigator无法成功打开。

Anaconda闪退解决方法如下:

使用管理员权限打开Anaconda Prompt

升级navigator,执行conda update anaconda-navigator

python查看显卡个数_深度学习_11

中间会列出升级版本信息,如上图中间红框所示,核对下升级后的版本,确认可以接受升级的版本,然后输入y确认进行升级。之后几步中也会出现选择是否继续的选项,核对后输入y即可。

重置navigator,执行anaconda-navigator --reset

python查看显卡个数_pytorch_12

升级客户端,执行conda update anaconda-client

python查看显卡个数_pytorch_13

升级安装依赖包,执行conda update -f anaconda-client

python查看显卡个数_pytorch_14

这时就可以正常打开Anaconda Navigator了。

1.4.2点击Anaconda Prompt

这里是在继续测试anaconda是否安装成功。

输入conda info,观察是否输出如下一堆数据:

python查看显卡个数_python查看显卡个数_15

再输入conda --version,观察是否输出版本号:

python查看显卡个数_人工智能_16

如果提示conda不是内部或外部命令,那就意味着,anaconda没有配置好环境变量,回头检查一下哪里出了问题。

1.4.3更改conda源(后续安装第三方库可以加快速度)

官方提供下载的服务器在国外,下载龟速,国内清华大学提供了Anaconda的镜像仓库,我们把源改为清华大学镜像源:

在Anaconda prompt中操作:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

查看是否修改好通道:

conda config --show channels

python查看显卡个数_CUDA_17

2.安装NVIDIA显卡驱动

直接进NVIDIA官网:NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA

python查看显卡个数_人工智能_18

在这里有GeForce驱动程序,立即下载,这是下载一个自动识别你电脑显卡的NVIDIA驱动,安装好之后记得注册一个账号并登录,然后在里面更新显卡驱动。

python查看显卡个数_CUDA_19

先点驱动程序,然后检查更新,就可以自动更新显卡驱动了。

python查看显卡个数_CUDA_20

更新完显卡驱动以后进Anaconda prompt的指令界面,输入nvidia-smi,可以看见自己显卡的相关信息。

python查看显卡个数_python查看显卡个数_21

3.安装CUDA和cnDNN

3.1CUDA

安装完NVIDIA以后我们还需要安装CUDA以及cuDNN,这两个是NVIDIA官方给出的便于深度学习计算的补丁。

CUDA的安装之前我们先要看看相适配的版本,搜索NVIDIA控制面板,依次点击帮助-系统信息,在弹出的界面中选择组件:

python查看显卡个数_python查看显卡个数_22

在第三行我们可以看出我这台电脑要安装cuda12.1的版本,我们去下载cuda不可以高于这个版本,最好也别过低。

CUDA官网:CUDA Toolkit 12.2 Update 2 Downloads | NVIDIA Developer

下载相应版本即可。这里我下载的是11.7版本,以便后续pytorch安装

python查看显卡个数_人工智能_23

下载完之后存放CUDA的文件夹会自动消失,后面可以从C盘找到相对应的路径。

3.2cuDNN

下载地址:https://developer.nvidia.com/rdp/cudnn-download

下载的时候注意版号,一定要让cudnn和cuda的版号完全一样才可以。

python查看显卡个数_pytorch_24

python查看显卡个数_深度学习_25

下载好之后打开cudnn的压缩包,再打开cuda的目录(目录在图里):

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7

python查看显卡个数_python查看显卡个数_26

可以看到cudnn有三个文件夹,把这些文件夹中的东西分别放进cuda对应的文件夹中就好。

python查看显卡个数_深度学习_27

至此cuda+cudnn就安装完成了,我们打开anaconda prompt,输入nvcc -V来看看cuda信息:

python查看显卡个数_pytorch_28

4.PyTorch安装

经历了以上几步,我们终于配置好了显卡的驱动相关,接下来我们开始安装pytorch。

首先需要创建一个虚拟环境,然后进入我们创建好的的pytorch环境,输入以下命令:

创建名叫pytorch的虚拟环境:

conda create -n pytorch python=3.8

进入pytorch虚拟环境:

conda activate pytorch

然后安装pytorch:

conda install pytorch

之后等待solving environment,好了以后按照提示按y回车,就自动装好了

来验证一下我们装的是否有效。

即首先用conda activate pytorch进入pytorch虚拟环境,然后在终端输入python进入python界面

分别输入

import torchtorch.cuda.is_available()

import torch以后回车无error,第二行指令返回的是true就大功告成。

我用上面这种方法出现了问题,最后结果是false。所以我换了种方法,如下:

PyTorch官网:PyTorch

官网界面往下拉

python查看显卡个数_人工智能_29

选择自己电脑的相关配置,然后在anaconda prompt中运行Run this Command里的代码:

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

验证方法同上。

先输入python,代码如下:

import torchprint(torch.__version__) #查看pytorch版本print(torch.cuda.is_available()) #查看cuda是否可用 输出为True 或者False

python查看显卡个数_深度学习_30

以上,我们就完成了windows下简单的深度学习环境配置。