python解释器、开发环境、远程服务器及conda指令
- 前言
- 一、python解释器和集成开发环境
- 二、本地电脑 / 实验室远程Linux服务器
- 三、命令行的conda和python基础指令
前言
一、python解释器和集成开发环境
1. 在cmd/bash命令行运行pyhon的
.py文件
:
法1:
先cd filepath,再python filename.py法2:
python filepath/filename.py2. python解释器的交互式窗口
法1:
在命令行输入python,进入CPython解释器的交互式窗口,用>>>
作为提示符法2:
在命令行输入ipython,使用IPython解释器的交互式窗口,用In[序号]:
作为提示符,类似于jupyter notebookPS:
输入多行代码都用;\3. 集成开发环境:pycharm和vscode
1.
pycharm:自带terminal(命令行)和python console(交互式,输入多行代码还可以用ctrl+enter)2.
vscode:ctrl+k ctrl+s打开快捷键。自带terminal和debug console。除了debug时用交互式,
写代码时若要用python console:
法一: 输入ipython,输入多行代码
法二: .py文件右键选择交互式打开(一边写代码一边看每段代码的效果,执行shift+enter)
二、本地电脑 / 实验室远程Linux服务器
1、vscode连接远程服务器 1
Remote host:主机的ip地址。
连接成功在bash中查看主机名(如实验室主机asus204lab):hostname
查看主机ip地址(121.192.xxx.xxx):hostname -ISpecify username: 开的账号,如zhangshan
Port:端口号
2、window10下通过ssh免输密码登陆远程Linux服务器 2
1.windows本地cmd命令就可以快速方便的
生成本机的SSH公钥对
(用于免密登入各种远程,如GitHub),过程如下:(1)输入一行命令:ssh-keygen -t rsa “youremail@example.com”
(2)可以不设置密码,一直回车,就可以在本机的C:\Users\username.ssh文件夹下生成公钥和私钥对2.接下来是将id_rsa.pub公钥中的内容全部复制,打开linux服务器,找到/.ssh或/username/.ssh文件夹
3.把公钥中的内容全部粘贴添加至.ssh文件夹的authorized_keys文件中,保存
3、查看实验室服务器信息:在linux服务器的bash输入nvidia-smi
(1)NAVIDA公司(英伟达)主要是做电脑GPU显卡的,主要产品类别有:面向3D游戏应用的GeForce系列、面向专业图形工作站应用的Quadro系列、专用GPU加速计算的Tesla系列。
(2)Intel公司(英特尔)主要是做电脑CPU处理器。
(3)AMD公司(Advanced_Micro_Devices,超威半导体)既做CPU处理器又做GPU显卡。
- 输入nvidia-smi进入系统管理界面,如下图。说明:下面Processes部分表示每个进程的GPU Memory Usage(神经网络训练时的显存占用=模型每层output的显存占用(与batch_size相关)+模型参数的显存占用+反向传播时的梯度)。显卡≈GPU+显存
- Nvidia-smi常用指令:Nvidia-smi -h(–help打印用法信息),-L(–list-gpus展示连接到系统的所有gpu),-q(–query展示gpu和unit信息)
三、命令行的conda和python基础指令
- conda --version, 查看conda版本
- python --version, 查看python版本
- conda create -n python36 python=3.6, 安装新环境(vscode发现有的python解释器能调试而某个不能调试,那重新安装新环境可能就能调试了)。如果创建环境失败,先用everything软件查看.condarc文件所在地址,然后删掉该文件,删除之后就可以成功创建虚拟环境。
- conda env list, 查看所有的环境
- source/conda activate python36, 打开新环境
- 配置PyTorch+CUDA环境~(实验室服务器已经安装好了显卡驱动,可以用nvidia-smi查看显卡驱动版本,然后再直接在Anaconda Powershell Prompt中输入以下命令来安装显卡对应的cudatoolkit版本以及cudnn、PyTorch(没找到就用低点的版本):
(1)点击PyTorch官网的Get started查看cuda和pytorch安装命令,如:conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
参考 (2)或用镜像源:pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
,或pip3 --default-timeout=1000 install
- import torch
print(“Pytorch version:”, torch.version)
print("CUDA Version: ", torch.version.cuda)
print(“cuDNN version is :”, torch.backends.cudnn.version())
print(“torch.cuda.is_available():”,torch.cuda.is_available()) # cuda是否可用
print(“torch.cuda.current_device():”,torch.cuda.current_device()) # 返回当前设备索引
print(“torch.cuda.device_count():”,torch.cuda.device_count()) # 返回GPU的数量
print(“torch.cuda.get_device_name(0):”,torch.cuda.get_device_name(0)) # 返回gpu名字,设备索引默认从0开始 - conda config --show-sources, 查看已有的源
- conda config --add channels https:(下面3), 添加源、仓库
- conda config --remove-key channels 恢复到默认源(比如要用交互式及jupyter_notebook,下载ipykernel只能用默认源)
- conda config --remove channels utl 删除源
- conda list, 该环境下安装的库
- conda list tensorflow-gpu, 查看某个包
- pip install tensorflow-gup==, 查看某个包有哪些版本
- 批量安装包: 如pip install -i https://pypi.tuna.tsinghua.edu.cn/simpe -r C:\Users\requirements.txt
- conda install tensorflow-gup==1.12.0 -i https://mirrors.bfsu.edu.cn/anaconda/pkgs/main/,(特定的源)安装特定的包
- pip install ipywidgets -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 下载包时没反应或报错,尝试该命令
- pip install --upgrade tensorflow-gup,更新某个包,若已是最新则会报Requirement already satisfied
- pip uninstall tensorflow-gup,卸载某个包
- python, 打开命令行
import tensorflow as tf(不报错成功),
exit(), 退出命令行 - conda/source deactivate, 退出新环境
- conda remove -n python36 --all, 移除新环境
- vscode连接远程服务器, ↩︎
- vscode连接远程服务器, ↩︎
- 镜像源:
conda config --add channels https://pypi.tuna.tsinghua.edu.cn/simple
conda config --add channels http://pypi.douban.com/simple/
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirror.bjtu.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirror.bjtu.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirror.bjtu.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirror.bjtu.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirror.bjtu.edu.cn/anaconda/pkgs/msys2 ↩︎