一.服务器未连外网下如何搭建

找一台具有Linux操作系统的电脑,进行新的虚拟环境的搭建,然后将整个文件夹拷贝到服务器上,即可直接使用。

1.Windows系统上虚拟机的下载及安装

        首先进入官网,下载虚拟机软件VMware;

        其次进入Ubuntu官网,下载Linux系统镜像

        最后进行软件安装,参考教程如下

虚拟机能进行深度学习吗 深度系统 虚拟机_linux

 2.安装Linux操作系统

        进入虚拟机,打开火狐浏览器,访问Anaconda官网,下载Linux操作系统下64位的anaconda3安装程序,然后进行软件安装。

        安装时,安装目录一定要和Linux服务器上的anaconda所在安装目录保持一致(这一点很重要),否则后面创建好的虚拟环境拷贝到服务器上是错误的!!!

        服务器上conda安装目录查看方法:首先Xshell连接上服务器,输入命令conda activate 进入base虚拟环境中,接着输入命令which conda 会查看到anaconda3所在安装目录。后面虚拟机上anaconda3也按照这个目录进行安装(这一点很重要,直接决定成败!)。

3.创建Python环境

        虚拟机中任意文件夹位置,右键打开终端。输入命令conda create -n your_envName python=x.x(x.x是指定的python版本,比如3.6、3.7);该命令会在anaconda3安装目录envs文件夹下生成一个文件夹,名称为your_envName。

虚拟机能进行深度学习吗 深度系统 虚拟机_虚拟机能进行深度学习吗_02

虚拟机能进行深度学习吗 深度系统 虚拟机_python_03

  4.安装Pytorch、torchvision和torchaudio、torchtext

        因为自己是研究图像处理相关的方向,所以仅安装了Pytorch、torchvision。torchaudio和torchtext是做自然语言处理和语音方向,可根据自己的需求自行考虑是否安装。

        在线安装的前提是要具备能够访问外网,一行命令即可十分方便,各种包不容易出错;坏处是conda的官方源不稳定,安装容易断掉,需要设置额外的源,比如清华源,阿里源等进行快速安装。

        离线安装的好处是conda不需要连外网也能安装,可以下载指定想要的任意版本;坏处是需要先下载好pytorch和torchvision的文件包,安装好后可能还会报一些奇怪的错误(本人亲身经历了哈哈哈)。

      (1)离线安装

                xshell连接到服务器,输入命令nvidia-smi可以查看服务器的cuda版本。

虚拟机能进行深度学习吗 深度系统 虚拟机_深度学习_04

                首先进行基于python版本对应的pytorch版本选择,然后进行与pytorch版本对应的torchvision版本

虚拟机能进行深度学习吗 深度系统 虚拟机_ubuntu_05

虚拟机能进行深度学习吗 深度系统 虚拟机_深度学习_06

                右键打开控制台,虚拟环境激活到your_envName(输入命令conda activate your_envName),cd到上面离线包的路径下,输入命令conda install pytorch文件名称 和conda install torchvision文件名称,随后等待安装完成即可。例如:conda install pytorch-1.8.1-py3.7_cuda10.1_cudnn7.6.3_0.tar.bz2    conda install torchvision-0.9.1-py37_cu101.tar.bz2

        (2)在线安装

           

进入pytorch官网,选择Previous Pytorch Versions可查看所有历史版本,根据服务器的cuda版本和python版本选择对应的在线安装命令。例如pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html      or
conda install pytorch==1.9.0 torchvision==0.10.0 torchaudio==0.9.0 cudatoolkit=10.2 -c pytorch

虚拟机能进行深度学习吗 深度系统 虚拟机_虚拟机能进行深度学习吗_07

              虚拟机中任意文件夹位置,右键打开终端,输入命令conda activate your_envName,该命令会进入到your_envName虚拟环境中

             接着输入上面的在线安装命令进行安装即可,若显示安装失败 说明国内访问外网conda源不稳定,需先进行清华源配置,然后再执行在线安装命令。

              第一次我是用离线安装的方式进行了,显示是安装成功,但是最后进入python环境,输入命令import torch会报错,提示少了一个动态链接库,OSError: libmkl_intel_lp64.so: cannot open shared object file: No such file or directory;带着问题去百度搜了一下,看了几个教程后,修改了一个配置文件,添加了几行代码,最后没修改成功就放弃了,最最后使用在线安装的方式重新覆盖掉旧的pytorch和torchvision解决了问题。就个人觉得使用离线包安装很容易出现一些意料之外的错误,还是在线安装比较靠谱,当然也可能是我这个版本的pytorch文件包有问题吧哈哈。

虚拟机能进行深度学习吗 深度系统 虚拟机_深度学习_08

 5.安装第三方依赖包

        pytorch安装好后,一个基本的深度学习环境就搭建好了。如果需要跑一些经典的开源深度学习模型,肯定会涉及额外的第三方依赖包,这就需要通过conda或者pip再额外进行安装。未连网安装只能乖乖的先去下载离线包,然后输入命令conda install  离线包名称。另外如果依赖包是整个github项目库,则可以先git拉取下来到服务器,根据项目库说明文档进行安装即可。

6.复制已创建的虚拟环境文件夹到服务器

        复制your_envName文件夹到服务器anaconda3/envs/目录下,有时候因为内部文件夹太多xftp会提示“遇到不适当参数”报错,导致整个文件夹上传失败。建议本地先zip一下,然后上传到服务器,最后在anaconda3/envs/目录下打开xshell,输入命令unzip your_envName解压文件夹即可。

至此,当服务器不能访问外网时,通过在linux系统创建深度学习虚拟环境,然后拷贝到服务器的工作就结束啦,前提是保证虚拟机中的anaconda和服务器上anaconda的安装目录一致即可使用。

二.服务器连接外网下如何搭建

能连外网的情况下创建环境非常简单,半小时就可以搞定,省时省力贼拉快!

1.创建python虚拟环境

        通过xshell连接到服务器,输入命令conda activate(先进入base环境),接着输入命令conda create -n your_envName python=x.x(x.x是指定的python版本,比如3.6、3.7);该命令会在anaconda3安装目录envs文件夹下生成一个文件夹,名称为your_envName。

2.安装深度学习pytorch框架

        输入命令conda deactivate(退出base环境),cd到your_envName目录,输入命令conda activate your_envName(激活your_envName环境),接着进行在线or离线的方式进行pytorch和torchvision版本安装。

3.安装第三方依赖库

        pytorch安装好后,一个基本的深度学习环境就搭建好了。如果需要跑一些经典的开源深度学习模型,肯定会涉及额外的第三方依赖包,这就需要通过conda或者pip再额外进行安装。输入命令pip install  依赖包名称。