罗西的思考的博客_001_机器学习(2)

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

ide

权重

初始化

原创 2022-02-28 16:27:09 2880 阅读

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

数据

并行性

服务器

原创 2022-02-28 16:26:46 2205 阅读

[源码分析] Facebook如何训练超大模型--- (5)

FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，本文我们介绍 Activation recomputation 相关知识。

后向传播

检查点

facebook

原创 2022-02-28 16:25:53 1374 阅读

[源码分析] Facebook如何训练超大模型---(4)

FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，之前文章之中我们谈到了FSDP支持混合精度训练，所以我们再来看看相关知识。

权重

迭代

facebook

原创 2022-02-28 16:25:28 1401 阅读

[源码分析] Facebook如何训练超大模型 --- (2)

FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型。前文我们介绍了 FSDP 如何使用，本文从源码角度来介绍 FSDP 如何实现参数分区。

初始化

后向传播

权重

原创 2022-02-28 16:24:54 1396 阅读

[源码分析] Facebook如何训练超大模型 --- (3)

FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型。前文我们介绍了 FSDP 如何使用，本文从源码角度来介绍 FSDP 如何实现 offload。

数据

加载

数据流图

原创 2022-02-28 16:23:29 691 阅读

[源码分析] Facebook如何训练超大模型---(1)

FSDP（Fully Sharded Data Parallel）是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，其本质是 parameter sharding。

数据

权重

facebook

原创 2022-02-15 11:39:20 1196 阅读

[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding

本文以Google 论文 [Automatic Cross-Replica Sharding of Weight Update in Data-Parallel Training]为主来学习Parameter Sharding。

权重

操作符

数据

原创 2022-02-09 17:29:03 210 阅读

[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer

PyTorch Zero Redundancy Optimizer 是一类旨在解决数据并行训练和模型并行训练之间权衡问题的算法。Zero Redundacy Optimizer 的思想来源于微软的ZeRO，具体实现是基于 Fairscale 的OSS。

初始化

数组

sed

原创 2022-01-25 15:48:50 543 阅读

[论文翻译] 分布式训练 Parameter sharding 之 ZeRO

本文以论文和官博为主来进行分析ZeRO，这是微软开发的一个可以高效利用显存的优化器，其会将模型状态量（优化器状态，梯度和模型参数）分布在多个并行 GPU 之上，目的是在不使用模型并行的情况下对让数十亿参数模型进行训练。

数据

检查点

并行性

原创 2022-01-25 15:47:53 147 阅读

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(2)

“Bagua“ 是快手和苏黎世理工（ETH Zürich）联合开发的分布式训练框架。其专门针对分布式的场景设计特定的优化算法，实现算法和系统层面的联合优化，力图极致化分布式训练的效率。

sed

ide

进程组

原创 2022-01-20 11:31:12 396 阅读

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(1)

“Bagua“ 是快手和苏黎世理工（ETH Zürich）联合开发的分布式训练框架。其专门针对分布式的场景设计特定的优化算法，实现算法和系统层面的联合优化，力图极致化分布式训练的效率。

复杂度

数据

原始数据

原创 2022-01-20 11:29:49 273 阅读

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(3)

“Bagua“ 是快手和苏黎世理工（ETH Zürich）联合开发的分布式训练框架。其专门针对分布式的场景设计特定的优化算法，实现算法和系统层面的联合优化，力图极致化分布式训练的效率。

迭代

初始化

加锁

原创 2022-01-20 11:27:21 390 阅读

[源码解析] PyTorch 分布式之弹性训练(7)---节点变化

本文如何处理节点变化。即对成员更改作出反应，并使用新的成员来重启所有workers，从而实现弹性训练。

sed

重启

elastic

原创 2022-01-20 10:19:35 178 阅读

[源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，介绍了官方的几个例子，我们接下来会介绍PyTorch的弹性训练，本文是第五篇，看看Rendezvous 的内部引擎，比如如何处理节点加入，节点离开，等待，心跳等等。

sed

业务逻辑

解耦

原创 2022-01-18 10:38:34 157 阅读

[源码解析] PyTorch 分布式之弹性训练(6)---监控/容错

关于PyTorch弹性训练，迄今为止我们已经分别介绍了 Agent 和 rendezous，但是有些部分并没有深入，比如，本文就把它们统一起来，对弹性训练做一个整体逻辑上的梳理。

elastic

重启

子进程

原创 2022-01-18 10:37:55 336 阅读

[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑

[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑目录[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑0x00 摘要0x01 总体背景0x02 基本概念2.1 Barrier2.2 排他性（Exclusivity）2.3

sed

elastic

键值

原创 2022-01-17 09:35:26 475 阅读

[源码解析] PyTorch 分布式之弹性训练(3)---代理

[源码解析] PyTorch 分布式之弹性训练(3)---代理目录[源码解析] PyTorch 分布式之弹性训练(3)---代理0x00 摘要0x01 总体背景1.1 功能分离1.2 Rendezvous0x02 Agent 总体逻辑2.1 功能2.2 工作基础2.3 部署2.

elastic

重启

偏移量

原创 2022-01-17 09:33:39 311 阅读 1点赞

[源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，介绍了官方的几个例子，我们接下来会介绍PyTorch的弹性训练，本文是第一篇，介绍其历史和设计理念，也会与Horovod做一下对比。 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路目录[源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路

elastic

重启

设计理念

原创 2022-01-14 14:39:35 429 阅读

[源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，介绍了官方的几个例子，我们接下来会介绍PyTorch的弹性训练，本文是第二篇，重点关注的是如何启动弹性训练，并且可以对系统总体架构有所了解。 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程目录[源码解析] PyTorch 分布式之弹性训练(2)---

elastic

单节点

重启

原创 2022-01-14 14:35:55 3457 阅读

[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用 RPC 来完成分布式管道并行。

ide

2d

后向传播

原创 2022-01-06 14:45:06 327 阅读

[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何把DDP和RPC framework结合起来。

服务器

初始化

ide

原创 2022-01-04 16:34:31 701 阅读

[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上)

上文已经分析了如何启动/接受反向传播，如何进入分布式autograd 引擎，本文和下文就看看如何分布式引擎如何运作。通过本文的学习，读者可以对 dist.autograd 引擎基本静态架构和总体执行逻辑有所了解。

反向传播

子节点

scala

sed

成员变量

原创 2021-12-07 11:30:37 290 阅读

[源码解析] PyTorch 分布式 Autograd (6) ---- 引擎(下)

上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。

lua

ide

反向传播

后向传播

html

原创 2021-12-07 11:28:30 235 阅读

[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎

上文我们看到了AutogradMetadata，DistAutogradContainer 和 DistAutogradContext 等一系列基础类。我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。

反向传播

后向传播

图例

基础类

sed

原创 2021-12-06 09:37:29 328 阅读

[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关

我们已经知道 dist.autograd 如何发送和接受消息，本文再来看看如何其他支撑部分，就是如何把发送接受两个动作协调起来，如何确定每个发送/接受节点，如何确定每一个消息交互Session。

后向传播

反向传播

sed

ide

python

原创 2021-12-06 09:35:58 182 阅读

[源码解析] PyTorch 分布式(13) ----- DistributedDataParallel 之反向传播

上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。

sed

迭代

反向传播

子节点

后向传播

原创 2021-12-01 09:42:29 402 阅读

[源码解析] PyTorch 分布式 Autograd (1) ---- 设计

本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。

反向传播

后向传播

html

依赖关系

数据

原创 2021-12-01 09:41:31 325 阅读

[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础

前文我们给出了分布式autograd的设计思路，本文开始，我们进行具体源码分析。因为无论是前向传播还是反向传播，都需要依赖 RPC 来完成，所以我们先看看封装于 RPC 之上的一些基本功能，比如初始化，代理（RPC 相关功能都是基于代理完成），消息接受，发送等等。

python

初始化

回调函数

ide

c++

原创 2021-12-01 09:39:56 279 阅读

[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之构建Reducer和Join操作

sed

初始化

ide

迭代

位图

原创 2021-11-29 10:17:51 501 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

罗西的思考