这里写目录标题

  • 一、前言
  • 二、创建虚拟环境用来跑代码
  • 1、连接上服务器
  • 2、创建虚拟环境
  • 3、进入虚拟环境
  • 4、安装cuda
  • 5、安装PyTorch
  • 6、安装Transformer
  • 7、安装numpy
  • 8、安装apex
  • 9、安装opt-einusm
  • 10、安装axial-attention
  • 11、安装ujson
  • 12、安装tqdm
  • 13、跑代码
  • 13、退出环境
  • 14、查看当前虚拟环境列表
  • 15、删除环境


一、前言

最近忙着在服务器上跑代码

学习积累了一些经验技巧

这里用来记录分享给大家

二、创建虚拟环境用来跑代码

下面我会以一个实例为模板,学习完之后,再删掉

不会占用大家的服务器

1、连接上服务器

比如我的连接方式为:ssh -p 你的编号 username-host

2、创建虚拟环境

这里我以一篇代码为例

虚拟机跑GPU 虚拟机跑代码_虚拟环境


创建虚拟环境

conda create -n KDDocRE python==3.7.4

3、进入虚拟环境

conda activate KDDocRE

虚拟机跑GPU 虚拟机跑代码_服务器_02

插句题外话

如果你的想跑的代码中有requirements.txt文件

可以进入放在代码的文件目录下

直接执行下行代码自动安装

pip install -r requirements.txt

如果有超时报错重新执行一下上行命令就行

4、安装cuda

conda install cudatoolkit=10.2

如果速度有些慢的话可以考虑更换清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/    
conda config --set show_channel_urls yes

5、安装PyTorch

这里给大家提供两种方式安装

pip3 install torch torchvision torchaudio 

或者

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

两者都可以,但是一定要确认好你的版本号

官网在这里

虚拟机跑GPU 虚拟机跑代码_虚拟机跑GPU_03

6、安装Transformer

pip install transformers==4.8.2

这里读者注意一下,如果三方库后面没有加上版本号

会默认为安装最新版本

如果已经安装过了其他版本

可以考虑再次安装指定版本

之前的版本会自动卸载(下图二)

虚拟机跑GPU 虚拟机跑代码_服务器_04


虚拟机跑GPU 虚拟机跑代码_json_05

7、安装numpy

pip install numpy==1.19.4

虚拟机跑GPU 虚拟机跑代码_服务器_06

8、安装apex

这个三方库比较难安装

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

虚拟机跑GPU 虚拟机跑代码_虚拟机跑GPU_07

9、安装opt-einusm

pip install opt_einsum==3.3.0

虚拟机跑GPU 虚拟机跑代码_python_08

10、安装axial-attention

pip install axial_attention==0.6.1

虚拟机跑GPU 虚拟机跑代码_python_09

11、安装ujson

pip install ujson

虚拟机跑GPU 虚拟机跑代码_python_10

12、安装tqdm

pip install tqdm

13、跑代码

以上环境都配置完成

接下来可以用pycharm打开整个文件

我依然以上面那个项目为例

虚拟机跑GPU 虚拟机跑代码_虚拟环境_11


打开以后是这个样子

然后使用pycharm远程连接服务器开始愉快的跑代码了

具体如何把代码跑起来

一般项目中的READ.md都会有介绍

虚拟机跑GPU 虚拟机跑代码_虚拟环境_12

13、退出环境

conda deactivate

14、查看当前虚拟环境列表

conda env list

15、删除环境

conda remove -n KDDocRE --all

如此以来,我们就完成了环境创建,跑代码,删除环境等操作

可以拿自己的项目练练手啦