服务器打包搬家到新服务器(快速搭建笔记)

  • 原服务器内容(脚本+数据集打包)
  • 1. 使用shell指令将要打包的文件压缩后下载到本地
  • zip (deprecated)
  • tar命令
  • 2. 原服务器环境信息读取
  • 主要是anaconda底下安装的各种包(package)
  • 接下来就是建立 requirements.txt [具体使用参考](https://note.nkmk.me/en/python-pip-install-requirements/)
  • requirements.txt的使用
  • requirements内容 的例子:
  • 自动生成,根据[官方手册](https://pip.pypa.io/en/latest/user_guide/#requirements-files)
  • 新服务器搭建
  • 1. 安装anaconda
  • 2.安装python包
  • 3. pycharm sftp 配置实现工程(代码文件)的实时传输
  • 至此新的服务器环境配置完成,可以使用了。。。


原服务器内容(脚本+数据集打包)

1. 使用shell指令将要打包的文件压缩后下载到本地

zip (deprecated)

压缩当前的文件夹 zip -r ./xahot.zip ./* -r表示递归
zip [参数] [打包后的文件名] [打包的目录路径]
解压 unzip xahot.zip 不解释

例:(打包数据集文件)

zip -r ./datasets.zip /home/yaoxingting/tiny-ImageNet/tiny-imagenet /home/yaoxingting/dvs_datasets/
#zip -r + [压缩后的目标文件] + [要压缩的文件地址1] + [要压缩的文件地址2] ...
tar命令

可以用来压缩打包单文件、多个文件、单个目录、多个目录。
Linux打包命令_tar
tar命令可以用来压缩打包单文件、多个文件、单个目录、多个目录。
常用格式:
单个文件压缩打包 tar czvf my.tar.gz file1
多个文件压缩打包 tar czvf my.tar.gz file1 file2,…(file*)(也可以给file*文件mv 目录在压缩)
单个目录压缩打包 tar czvf my.tar.gz dir1
多个目录压缩打包 tar czvf my.tar.gz dir1 dir2
解包至当前目录:tar xzvf my.tar.gz

2. 原服务器环境信息读取

主要是anaconda底下安装的各种包(package)

conda的一些常用操作如下:

1 查看当前环境下已安装的包
conda list

2 查看某个指定环境的已安装包
conda list -n python34

3 查找package信息
conda search numpy

4 安装package
conda install -n python34 numpy
如果不用-n指定环境名称,则被安装在当前活跃环境
也可以通过-c指定通过某个channel安装

5 更新package
conda update -n python34 numpy

6 删除package
conda remove -n python34 numpy
使用操作1 2,基本就可以完成所有包的信息读取

接下来就是建立 requirements.txt 具体使用参考
requirements.txt的使用
pip install -r requirements.txt
requirements内容 的例子:
###### Requirements without Version Specifiers ######
nose
nose-cov
beautifulsoup4

###### Requirements with Version Specifiers ######
docopt == 0.6.1             # Version Matching. Must be version 0.6.1
keyring >= 4.1.1            # Minimum version 4.1.1
coverage != 3.5             # Version Exclusion. Anything except version 3.5
Mopidy-Dirble ~= 1.1        # Compatible release. Same as >= 1.1, == 1.*
自动生成,根据官方手册

运行下面第一行就可以直接生成,当前环境下使用的额外扩展包的requirements

python -m pip freeze > requirements.txt
python -m pip install -r requirements.txt
##or##
conda list -e > requirements.txt
conda install --yes --file requirements.txt

新服务器搭建

1. 安装anaconda

查看新服务器的linux版本:

cat /proc/version
#返回 Linux version 3.10.0-1160.el7.x86_64

然后根据版本去下载anaconda

将下载下来的安装包通过sftp上传到新的服务器

在新服务器上安装:

bash Anaconda3-2021.05-Linux-x86_64.sh

创建新环境、添加源:

conda create --name yourEnv python=3.7  # 创建虚拟环境

#显示目前conda的数据源有哪些
conda config --show channels

#添加数据源:例如, 添加清华anaconda镜像:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
# 以上两条是Anaconda官方库的镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
# 以上是Anaconda第三方库 Conda Forge的镜像

# for linux
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
# for legacy win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/peterjc123/
以上两条是Pytorch的Anaconda第三方镜像

conda config --set show_channel_urls yes

如果出现pip/conda命令找不到了

export PATH=home/[usrname]/anaconda3/bin:$PATH

2.安装python包

使用前面创建的requirements:

pip install -r requirements.txt

3. pycharm sftp 配置实现工程(代码文件)的实时传输

当然,pycharm得用购买开通的完全版才有这功能。可以使用教育资格将服务器上的项目打包成docker 服务器打包是什么意思_服务器免费。

基本就是tools->deployment->config一顿设置

至此新的服务器环境配置完成,可以使用了。。。

如果可以利用的第三方平台,如github去传输环境,也可以。但是这里遇到的服务器用不了git。所以就用以上的方法重新配置。