Python 深度学习常用包汇总
文章目录
- Python 深度学习常用包汇总
- 更新历史
- 1、框架
- 1.1 pytorch
- 1.2 飞浆paddlepaddle
- 1.3 tensorflow 1.15 cpu ，gpu版
- 1.3.1 Anaconda虚拟环境中安装CUDA配合Tensorflow-gpu-多版本
- 1.3.1.1.安装cudatoolkit（CUDA）
- 1.3.1.2.安装cudnn
- 1.4 tensorflow2.0
- 1.5 DGL 图网络框架
- 2、工具包
- 总命令
- 2.1 scikit-learn(sklearn)
- 2.2 pandas
- 2.3 numpy
- 2.4 matplotlib
- 2.5 jupyter notebook
- 2.6 gensim
- 3 少用到的包
- 3.1 networkx
- 3.2 seaborn
比较常用Pytorch框架，记录一下常用的包，方便重建深度学习环境。如果没有特别提示，均是在Windows下试验的。
更新历史
2021/2/28
2021/3/6
2021/5/22
2022/4/22
2023/8/18
2023/9/25 增加飞浆paddlepaddle
1、框架
1.1 pytorch
官网首页：https://pytorch.org/
旧版安装命令地址: Previous PyTorch Versions | PyTorch
当前安装版本：1.7.1 gpu 版本
pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.htmlpytorch 1.10.1 gpu 版本
pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html30系显卡推荐安装torch1.10.0 以及cu111以上版本
1.2 飞浆paddlepaddle
官网 飞浆paddlepaddle: https://www.paddlepaddle.org.cn/install
版本2.4.2
# Linux CUDA 11.2
python3 -m pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
# Windows CUDA 11.2
python -m pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html如果项目是旧代码，推荐使用2.4.2以下版本，因为我遇到新版本2.5.x有些api被更改了。
1.3 tensorflow 1.15 cpu ，gpu版
官网：https://tensorflow.google.cn/install
python版本要是3.5 - 3.7, 推荐使用python3.7，因为3.6及以下版本在vscode不支持debug。
pip install tensorflow==1.15# gpu版
pip install tensorflow-gpu==1.15linux系统最好的安装方法
conda install -c conda-forge tensorflow-gpu==1.15.0
这样会顺便安装cudatoolkit和 cudnn插件不用全局安装GPU的cuda了，因为配置全局cuda实在有的难😂
conda会自动选择合适的cudatoolkit和 cudnn版本安装
目前我也只是在conda命令成功了，不知pip命令
2023/07/20
注：发现英伟达30系显卡不支持 cudatoolkit(CUDA) 10.x版本了，要11.0版本以上。
因此如果想要运行
tensorflow-gpu==1.15.0，解决方法是通过nvidia-smi检查系统有没有安装CUDA 11 及以上版本。如果装了就不要另外装cudatoolkit 了。我的是CUDA11.4,成功运行tensorflow-gpu==1.15.0的模型代码。
1.3.1 Anaconda虚拟环境中安装CUDA配合Tensorflow-gpu-多版本
查阅网上的Tensorflow-gpu的安装教程，在装cuda时会让人看到头秃，因为他们都是让去官网下载cuda和cudnn，基于Windows系统，然后各种添加环境变量，各种版本必须兼容，会把你搞得身心俱疲。
参考你所需要的Tensorflow版本,安装对应版本的cuda,这点很重要！！！！
https://tensorflow.google.cn/install/source_windows?hl=zh-cn
1.3.1.1.安装cudatoolkit（CUDA）
安装CUDA是一定要指定版本，比如我TensorFlow是 2.0.0 版本，参考上图👆我就安装CUDA 10.0
conda install -c anaconda cudatoolkit #-c代表--channel。 它用于指定搜索包的频道 默认最新版本
or
conda install cudatoolkit=10.0 # 若需指定版本1.3.1.2.安装cudnn
若上步指定了版本，这里将做自动匹配~，所以在安装CUDA时要指定版本安装。这样就可以使用下面第一个命令安装了
conda install -c anaconda cudnn #若上步指定了版本，这里将做自动匹配~
conda install cudnn=7.41.4 tensorflow2.0
# gpu版
pip install tensorflow-gpu==2.0
# cpu版
pip install tensorflow==2.0使用conda 命令
conda install tensorflow-gpu==2.5安装tensorflow, 会自动安装CUDA组件
如果pip list或conda list发现cudatoolkit 和 cudnn 包说明已经安装CUDA组件
1.5 DGL 图网络框架
https://www.dgl.ai/pages/start.html
# 搭配上面的pytorch 1.7.1 使用，先安装 pytorch 1.7.1
pip install dgl-cu1102、工具包
总命令
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
图像
pip install matplotlib opencv-python pillow scipy seaborn grip数据处理和分析
pip install jupyter notebook
pip install scikit-learn numpy pandas pyarrow openpyxl xlrd wordcloud tqdm h5pyNLP
pip install transformers jieba wordcloud gensim nltk爬虫
pip install requests selenium beautifulsoup4 lxmlXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
2.1 scikit-learn(sklearn)
pip install scikit-learn当前版本：0.24.1
2.2 pandas
pip install pandas当前版本 ：1.2.2
安装pandas会安装numpy
2.3 numpy
pip install numpy当前版本：1.20.1
之前安装pytorch不能使用最新的numpy。1.16.6可以。
但现在最新版本可以了。
2.4 matplotlib
画图包
pip install matplotlib当前版本：3.3.4
2.5 jupyter notebook
pip install jupyter notebook2.6 gensim
gensim 是一个通过衡量词组（或更高级结构，如整句或文档）模式来挖掘文档语义结构的工具。
算法有Word2vec，doc2vec等等
pip install gensim安装要点：gensim不同版本的命令的参数会有差异，而且与scipy的版本也有关系。
像一些老的代码一般使用的是gensim3.0，但这个可能需要scipy==1.2.1,要不然有一些函数不能使用，如果出错或报AttributeError: module ‘scipy.misc’ has no attribute XXX的异常。如果报这个异常就说明是scipy版本不对了
如果使用最新的gensim，那么在网上找到的代码都可能要做一定的修改。
3 少用到的包
3.1 networkx
networkx 是Python的一个包，用于构建和操作复杂的图结构，提供分析图的算法。
pip install networkx当前版本：2.5
3.2 seaborn
Seaborn是matplotlib的强大的一个扩展。
pip install seaborn
