罗西的思考的博客_001_机器学习,002_大数据,003_白话解析

[源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用分布式 RPC 框架实现参数服务器。

服务器

初始化

sed

原创 2021-12-23 10:49:04 396 阅读

[源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布

服务器

后向传播

成员变量

原创 2021-12-23 10:48:41 232 阅读

[源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中

服务器

批处理

后向传播

原创 2021-12-23 10:48:26 141 阅读

[源码解析] PyTorch分布式优化器(1)----基石篇

我们接下来通过几篇文章来看看分布式优化器。本系列分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文是基石篇，通过本文，大家可以了解到模型的构造，优化器的基本原理，两者之间的交互，如何优化更新模型等等，这为后面的逐级分析打下了一个基础。

成员变量

.net

子节点

ide

权重

原创 2021-12-10 15:03:29 195 阅读

[源码解析] PyTorch分布式优化器(2)----数据并行优化器

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍数据并行DP/DDP/Horovod 之中的优化器。

数据

后向传播

反向传播

初始化

sed

原创 2021-12-10 15:02:03 230 阅读

[源码解析] PyTorch分布式优化器(3)---- 模型并行

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/D

数据

初始化

后向传播

ide

.net

原创 2021-12-10 15:01:40 716 阅读

[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上)

上文已经分析了如何启动/接受反向传播，如何进入分布式autograd 引擎，本文和下文就看看如何分布式引擎如何运作。通过本文的学习，读者可以对 dist.autograd 引擎基本静态架构和总体执行逻辑有所了解。

反向传播

子节点

scala

sed

成员变量

原创 2021-12-07 11:30:37 290 阅读

[源码解析] PyTorch 分布式 Autograd (6) ---- 引擎(下)

上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。

lua

ide

反向传播

后向传播

html

原创 2021-12-07 11:28:30 236 阅读

[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎

上文我们看到了AutogradMetadata，DistAutogradContainer 和 DistAutogradContext 等一系列基础类。我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。

反向传播

后向传播

图例

基础类

sed

原创 2021-12-06 09:37:29 328 阅读

[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关

我们已经知道 dist.autograd 如何发送和接受消息，本文再来看看如何其他支撑部分，就是如何把发送接受两个动作协调起来，如何确定每个发送/接受节点，如何确定每一个消息交互Session。

后向传播

反向传播

sed

ide

python

原创 2021-12-06 09:35:58 182 阅读

[源码解析] PyTorch 分布式(13) ----- DistributedDataParallel 之反向传播

上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。

sed

迭代

反向传播

子节点

后向传播

原创 2021-12-01 09:42:29 402 阅读

[源码解析] PyTorch 分布式 Autograd (1) ---- 设计

本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。

反向传播

后向传播

html

依赖关系

数据

原创 2021-12-01 09:41:31 325 阅读

[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础

前文我们给出了分布式autograd的设计思路，本文开始，我们进行具体源码分析。因为无论是前向传播还是反向传播，都需要依赖 RPC 来完成，所以我们先看看封装于 RPC 之上的一些基本功能，比如初始化，代理（RPC 相关功能都是基于代理完成），消息接受，发送等等。

python

初始化

回调函数

ide

c++

原创 2021-12-01 09:39:56 279 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

罗西的思考