概念Hook函数机制：不改变主体，实现额外功能，像一个挂件一样将功能挂到函数主体上。hook的出现与pytorch动态图运算机制有关，pytorch在每一次运算结束后，会将中间变量释放，以节省内存空间，这些会被释放的变量包括非叶子张量的梯度，中间层的特征图等。但有时候，我们想可视化中间层的特征图，又不能改动模型主体代码。但是，我们往往想要提取这些中间变量（如“提取”特征图，“提取”非叶子张量的梯度
转载
2024-01-30 05:52:40
45阅读
pytorch这两年越来越流行，定义网络结构简单，而且还很直观灵活，数据加载快。一、安装登陆pytorch官网。选择合适的环境：运行安装命令：pip3 install https://download.pytorch.org/whl/cpu/torch-1.1.0-cp36-cp36m-win_amd64.whl
pip3 install https://download.pytorch.org/
转载
2023-08-30 10:55:40
68阅读
https://www.cnblogs.com/ywheunji/p/12298518.html
原创
2021-04-22 20:24:06
1167阅读
今天在跑spellGCN的时候发现需要安装horovod，但是安装过程并不是很顺利，我这里分享一下
原创
2022-08-12 08:22:46
261阅读
不同的Pytorch需要安装不同版本的horovod，否则horovod安装失败的时候提示的错误信息你都不知道到底是什么原因。。 我自己实测了几个版本，记录如下： Pytorch Horovd 1.7.1+cu101 0.19.5 1.8.1+cu102 0.22.1 后续会持续更新
原创
2021-11-05 09:58:45
1272阅读
linux-aarch64 编译安装tensorflow1. 明确版本2. 管理版本3. 编译安装Bazel-0.24.13.1 pip安装python相关包3.2 编译Bazel4. 编译tensorflow1.14.04.1 源码下载4.2 设置编译参数4.3 编译tensorflow4.3.1 依赖下载失败4.3.2 C++ compilation of rule '@grpc//:gpr
转载
2024-04-01 15:39:32
222阅读
Horovod是一个由Uber开源的第三方框架，它支持TensorFlow、PyTorch以及MXNet等主流的深度学习框架，可以轻松地实现高性能的分布式训练。
原创
2023-01-17 02:19:24
400阅读
## Horovod 架构简介
Horovod 是一种用于分布式深度学习的开源框架，由Uber于2017年发布。Horovod 旨在通过在多个 GPU 上进行数据并行处理来加速训练过程。Horovod 架构基于MPI（Message Passing Interface）协议，使得在大规模集群上训练深度学习模型更加高效和简单。
### Horovod 架构
Horovod 的架构主要包括以下几
原创
2024-02-24 07:55:54
46阅读
架构Horovod主要由数据通信层、通信控制层、深度学习框架接口层、启动层四部分组成。其中启动层通过horovodrun或mpirun启动训练进程，之后每个训练进程通过调用TensorFLow、PyTorch、MXNet等框架（python train.py）进行单个结点的数据输入、参数更新，在每个进程完成一个或多个batch计算后，得到的Tensor（参数）通过MPI或GLoo控制进行ring
原创
2024-03-05 13:53:37
50阅读
少用tensor.numpy()来查看tensor的np.ndarray格式数据，共享内存，修改torch.tensor对应的np.ndarray也会被改动少用torch.from_numpy()来生成torch.tensor，共享内存，修改原始np.ndarray，其生成的torch.tensor也会被修改如果是希望防止跟踪历史（以及使用内存），可以将代码块放在 with torch.no_gr
转载
2024-08-21 22:32:15
17阅读
# 如何在Linux中安装PyTorch
作为一名经验丰富的开发者，我将教会你如何在Linux中安装PyTorch。下面是整个过程的步骤：
| 步骤 | 操作 |
|------|------|
| 1. | 安装Python和pip |
| 2. | 使用pip安装PyTorch的依赖库 |
| 3. | 下载并安装PyTorch |
下面是每个步骤需要执行的操作，以及相应的代
原创
2023-07-20 12:35:21
328阅读
硬件在环（HiL）仿真测试系统，目的是对新能源汽车 VCU 进行全面深入的功能测试、故障 测试及极限工况测试，并辅助工程师对测试结果分析验证、故障再现，提高测试验证及分析的手段。HiL 测试系统整体架构如下图所示，主要包含三层内容，第一层次为 HiL 测试系统软硬件 架构，主要包括 HiL 测试系统的硬件设备、实验管理软件、被测控制器等；第二层次为 HiL 测 试系统开发，在第一层次软硬件架构的基
转载
2023-12-20 19:19:40
88阅读
wsl2 windows10/11 安装 配置cuda及pytorch参考文献安装wsl2 ubuntu20.04安装wsl cuda驱动安装CUDA Tollkit配置cudnn连接pytorch GPUANACONDA安装后话 参考文献Windows 11/10 WSL2 Ubuntu 20.04 下配置Cuda及Pytorch官方安装wsl2官方wsl2连接gpu 这篇文章基本上就是上面一
转载
2024-06-19 04:16:25
115阅读
在上一篇文章中我们看到了多GPU训练，也就是最简单的单机多卡操作nn.DataParallel。但是很遗憾这种操作还不够优秀，于是就有了今天这篇文章~
写这篇文章的时候看了很多的tutorials，附在文末了，在此先向文末的每位作者致敬，感谢大佬们！
其实单机多卡的办法还有很多(如下)，而且上篇的方法是相对较慢的。
转载
2021-07-12 10:52:18
1749阅读
其实单机多卡的办法还有很多(如下)，而且上篇的方法是相对较慢的。
1、nn.DataParallel 简单方便的 nn.DataParallel
2、torch.distributed 使用 torch.distributed 加速并行训练
3、apex 使用 apex 再加速。
转载
2022-12-29 14:15:46
1307阅读
# 在 PyCharm 中安装 PyTorch 的全过程
PyTorch 是一个流行的深度学习框架，提供了灵活的张量计算和强大的计算图功能。为了便于开发，许多数据科学家和机器学习工程师使用 PyCharm 作为他们的 IDE。本文将详细介绍如何在 PyCharm 中安装 PyTorch，并通过示例代码展示其基本用法。
## 一、安装前准备
在安装 PyTorch 之前，我们需要确保我们的计算
# 在CentOS系统中安装PyTorch的指南
## 前言
PyTorch是一种流行的深度学习框架，由Facebook人工智能研究团队开发。以其强大的灵活性和简便性，PyTorch成为了学术界和工业界广泛使用的工具。本文将为您介绍如何在CentOS系统中安装PyTorch，整个过程包括系统依赖性安装、CUDA配置以及PyTorch的实际安装。
## 环境准备
在安装PyTorch之前，确
前言transformer火了这么久，在视觉，文本，多模态等领域各种刷榜，某天有空看到这篇推送 熬了一晚上，我从零实现了Transformer模型，把代码讲给你听 后来发现有点小问题, 以及代码风格可能自己不是特别喜欢，然后就动手改一改。 Anyway, 很感谢原作者本着开源和分享的精神，看他的代码确实很有收获。关于transformer理论部分，这里有篇讲解: 【Transformer】10分钟
https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT/run_pretraining.py
原创
2022-07-19 11:55:49
80阅读
在上篇文章我介绍了深度学习的一些python基础和IDE的选择，这次我们从李沐老师的译作《动手学深度学习》中完整的走一遍安装MXNet的安装。在介绍安装MXNet安装之前，我们先了解一下，什么是MXNet？在如今开源深度学习框架中包括TensorFlow，Keras，MXNet，PyTorch，CNTK，Theano，Caffe，DeepLearning4，Lasagne，Neon等等。但是当下最
转载
2024-08-20 13:15:14
332阅读
