Python venv创建的虚拟环境复制到其他路径,如何断开与原始虚拟环境的连接,成为一个全新的虚拟环境,且两个虚拟环境之间的更新互不影响?

  • 1.软件环境⚙️
  • 2.问题描述🔍
  • 3.解决方法🐡
  • 3.1.方法1:先复制所有软件包,然后直接修改路径指向
  • 3.2.方法2:先将`Python`解释器中的标准库文件复制到新的虚拟环境中,然后再复制所有软件包
  • 3.3.方法3:使用`virtualenv-clone`进行克隆
  • 4.结果预览🤔


1.软件环境⚙️

Windows10 教育版64位
Python 3.10.6

2.问题描述🔍

哎,深度学习的环境配置一直是个问题,特别是现在多模态的模型要求更多的包,更多的模型文件。因此怎么移植到其他地方更是一个问题!传统方法可能就是使用pip freezepip install命令来依次安装requirements.txt中的包。
这样在我看来可能在某些情况下不适用:

  1. 单位的网速实在太慢了(如悲惨的我~~),只有2MB/S,严重影响了pip install的速度;
  2. 有的地方是不能联网的,比如涉密环境(还是悲惨的我)~~,遭老罪咯!

那么,有没有办法可以直接将已有的venv环境利用起来,而不是重新pip安装一篇之前已经安装好的包?

这个时候可能有些同志就想起了,我直接将已有的venv环境复制到其他地方不就行了吗?

因为直接复制过去,虽然你能使用\venv\Scripts\activate激活虚拟环境,但你的环境其实指向的还是老环境的python环境,不信我们看:

直接激活新环境的虚拟环境,然后输入where python

如何克隆虚拟环境pytorch python复制虚拟环境_pip install

注:我这里已有的venv环境位于:E:\Code\Python\Git\stable-diffusion-webui 新的venv环境位于:E:\Code\Python\Git\kohya_ss

特别是如果你使用where pip命令,返回的路径是你新venv的路径:

如何克隆虚拟环境pytorch python复制虚拟环境_Python_02


但实际pip依然是老venv中的pip

如何克隆虚拟环境pytorch python复制虚拟环境_Python_03


这意味着你如果要在新的环境安装其他版本的软件包,修改的却是老版本的venv软件包,这样还可能导致老的venv因为包冲突而无法使用!

结果你复制半天复制了个寂寞,还白白浪费了硬盘空间!

3.解决方法🐡

这其实是因为你粗暴的将老环境复制过来,其中文件中的指向依然是老环境,因此,我们只需要将这些文件中的路径指向新环境即可!

3.1.方法1:先复制所有软件包,然后直接修改路径指向

  1. venv\pyvenv.cfg文件内的home修改为新venv的安装路径:
  2. 如何克隆虚拟环境pytorch python复制虚拟环境_如何克隆虚拟环境pytorch_04

  3. 如我这边使用conda安装的python,就直接将紫框中的内容修改为:E:\Code\Python\Git\kohya_ss\conda\py3106。如果你是独立下载python安装包,那就填入python的安装路径!
  4. 修改venv\Scripts\activate中的VIRTUAL_ENV指向新的venv路径
  5. 如何克隆虚拟环境pytorch python复制虚拟环境_pip install_05

  6. 如我这边就修改为:VIRTUAL_ENV="E:\Code\Python\Git\kohya_ss\venv"
  7. 修改venv\Scripts\activate.bat中的VIRTUAL_ENV指向新的venv路径
  8. 如何克隆虚拟环境pytorch python复制虚拟环境_venv_06

  9. 如我这边就修改为:set VIRTUAL_ENV=E:\Code\Python\Git\kohya_ss\venv 这个时候可以看到我们的python指向我们的新venv
  10. 如何克隆虚拟环境pytorch python复制虚拟环境_快速创建虚拟环境_07

  11. 重新安装pip(一定要重新安装!!!!!!!!!!!!!不然pip安装包还是指向老环境,如果不重新安装只能在前面加python -m才会在新环境中安装包
    首先激活新venv,然后卸载新环境中的旧pip
python -m pip uninstall pip

然后重新安装pip, 这个时候你可以选择去官网下载pip安装包进行,但是这样感觉有点太麻烦了,推荐直接使用如下命令安装:

python -m ensurepip --default-pip

注意:如果你的python版本太老了,可能是不支持ensurepip的,貌似python3.4以上版本才支持。如果你使用的python版本低于3.4甚至是py2,那么你需要使用get-pip.py 脚本文件(https://bootstrap.pypa.io/get-pip.py,进去根据你自己python的版本)来手动安装 pip,如果选择错版本可能会报错: ERROR: This script does not work on Python 3.6 The minimum supported Python version is 3.7. Please use https://bootstrap.pypa.io/pip/3.6/get-pip.py instead.

如何克隆虚拟环境pytorch python复制虚拟环境_pip install_08

并升级到最新版本:

python -m pip install --upgrade pip

这个时候就可以看到pip已经指向我们的新venv了,where pippip --version指向的路径也相同了:

如何克隆虚拟环境pytorch python复制虚拟环境_venv_09

如何克隆虚拟环境pytorch python复制虚拟环境_如何克隆虚拟环境pytorch_10

3.2.方法2:先将Python解释器中的标准库文件复制到新的虚拟环境中,然后再复制所有软件包

  1. Python解释器中的标准库文件复制到新的虚拟环境中
    激活老环境,然后使用如下命令将Python解释器中的标准库文件复制到新的虚拟环境中:
python -m venv --copies E:\Code\Python\Git\test\venv
  1. 复制所有软件包到新的venv 直接复制老环境下的venv\Lib\site-packages文件夹到新环境下的E:\Code\Python\Git\test\venv\Lib\site-packages

注:

  1. 可以先将新环境下的venv\Lib\site-packages删除再复制
  2. 如果你是老环境中单独使用conda来创建了python,需要按方法1中所说的,将venv\pyvenv.cfg文件内的home修改为新venv的安装路径
  1. 这种方法较为简单,都不容易改指向路径:

3.3.方法3:使用virtualenv-clone进行克隆

假设你要复制的虚拟环境是E:\Code\Python\Git\test\venv1,要创建的新虚拟环境是E:\Code\Python\Git\test2\venv2,那么你可以使用这个命令:

virtualenv-clone E:\Code\Python\Git\test\venv1 E:\Code\Python\Git\test2\venv2

然后你可以用文本编辑器打开E:\Code\Python\Git\test2\venv2中的activate脚本,把里面的$VIRTUAL_ENV变量改成E:\Code\Python\Git\test2\venv2 但是这个方法貌似在Windows系统下有一些兼容性问题,比如不支持Python 3.8以上的版本,或者不支持某些参数,所以慎用!!

4.结果预览🤔

现在你的新老环境已经完全隔离,安装和更新操作互不影响,最主要的是不用联网重头pip install安装了!