罗西的思考的博客_001_机器学习

新书出版：《分布式机器学习——系统、工程与实战》

机器学习

知识体系

html

原创 2023-07-24 08:50:53 164 阅读 1点赞

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2

对于 ParameterServerStrategy V2，我们将从几个方面来研究：如何与集群建立连接，如何生成变量，如何获取数据，如何运行。其中，变量和作用域我们在前文已经研究过，运行在 MirroredStrategy 里面也介绍，所以本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。

tensorflow

服务器

自定义

原创 2022-08-05 17:11:18 954 阅读

[源码解析] TensorFlow 分布式之 ClusterCoordinator

本文我们主要来看看ParameterServerStrategy如何分发计

tensorflow

sed

数据集

原创 2022-05-24 10:52:13 449 阅读

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V1

本章我们看看 ParameterServerStrategy，就是第一版代码。研究这个是因为目前工业界还有很多公司在使用，而且其内部机制也比较清晰易懂，值得我们分析。

tensorflow

sed

服务器

原创 2022-05-14 21:33:46 513 阅读

[源码解析] TensorFlow 分布式之 MirroredStrategy 分发计算

前一篇我们分析了MirroredStrategy 的基本架构和如何更新变量，本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是，MirroredStrategy 通过什么方式在远端设备节点上运行训练方法（如何分发计算），MirroredStrategy 和我们之前分析的 TF 运行时怎么联系起来？和 master，worker 这些概念怎么联系起来？

tensorflow

sed

ide

原创 2022-05-05 13:38:34 658 阅读

[源码解析] TensorFlow 分布式之 MirroredStrategy

MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。

tensorflow

初始化

sed

原创 2022-05-05 13:37:59 424 阅读

[源码解析] TensorFlow 之分布式变量

在 TensorFlow 之中，分布式变量是在多个设备上创建的变量。Mirrored variable 和 SyncOnRead variable 是两个例子。本文就对分布式变量进行分析。

tensorflow

ide

sed

原创 2022-05-05 13:37:58 442 阅读

[源码解析] TensorFlow 分布式环境(8) --- 通信机制

当计算图在设备之间划分之后，跨设备的 PartitionGraph 之间可能存在着数据依赖关系，因此 TF 在它们之间插入 Send/Recv 节点，这样就完成数据交互。而在分布式模式之中，Send/Recv 通过 RpcRemoteRendezvous 完成数据交换，所以我们需要先看看 TF 之中的数据交换机制 Rendezvous。

sed

tensorflow

ide

原创 2022-05-05 13:37:45 542 阅读

[源码解析] TensorFlow 分布式 DistributedStrategy 之基础篇

我们接下来介绍TensorFlow分布式Strategy的基础，本文会先看看Strategy的类体系和如何处理数据，下一篇看看如何处理变量。

数据集

sed

tensorflow

原创 2022-05-05 13:37:39 1768 阅读

[源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑

前文中，Master 在流程之中先后调用了 gRPC 给远端 worker 发送命令，即，GrpcRemoteWorker 一共发了两个请求：RegisterGraphAsync，RunGraphAsync，本文我们就来看看 GrpcWorkerService 如何处理。

tensorflow

子图

sed

原创 2022-05-05 13:36:50 153 阅读

[源码解析] TensorFlow 分布式环境(5) --- Session

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。会话机制是TensorFlow 分布式运行时的核心，我们接下来按照从 Client 到 worker 的流程，把 Session 机制从前到后走一遍。

tensorflow

ide

生命周期

原创 2022-05-05 13:36:38 478 阅读

[翻译] 使用 TensorFlow 进行分布式训练

本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练，借此进入Strategy世界。

tensorflow

归约

服务器

原创 2022-05-05 13:36:30 768 阅读

[源码解析] TensorFlow 分布式环境(6) --- Master 动态逻辑

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文会从 Client 开始，看看 Master 如何对计算图进行处理。

tensorflow

ide

子图

原创 2022-05-05 13:36:20 196 阅读

[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器 --(9)--- Local hash表

在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 LocalizedSlotSparseEmbeddingHash 的后向操作。

数据

ide

i++

原创 2022-05-05 13:35:55 143 阅读

[源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本篇介绍 Worker（一系列相关概念）的静态架构。

tensorflow

子图

ide

原创 2022-05-05 13:35:48 177 阅读

[源码解析] TensorFlow 分布式环境(2)---Master 静态逻辑

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文梳理下 Master 的静态逻辑。

tensorflow

ide

客户端

原创 2022-05-05 13:35:36 180 阅读

[源码解析] TensorFlow 分布式环境(4) --- WorkerCache

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。我们接下来介绍缓存机制。

sed

tensorflow

ide

原创 2022-05-05 13:34:23 273 阅读

[源码解析] TensorFlow 分布式环境(1) --- 总体架构

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。

tensorflow

子图

服务器

原创 2022-05-05 13:34:13 913 阅读

[翻译] TensorFlow 分布式之论文篇

读论文有一种原则是：本领域最经典的论文，近5年最热的论文，近1年最新的论文。按照这个原则，本文主要介绍一篇Tensorflow 经典论文 [Implementation of Control Flow in TensorFlow]。

tensorflow

迭代

反向传播

原创 2022-05-05 13:34:03 424 阅读

[翻译] NVIDIA HugeCTR，GPU 版本参数服务器 --(10)--- 推理架构

经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。

缓存

服务器

加载

原创 2022-05-05 13:33:34 160 阅读

[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器---(8) ---Distributed Hash之后向传播

在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 DistributedSlotSparseEmbeddingHash 的后向操作。

权重

服务器

反向传播

原创 2022-05-04 20:52:19 208 阅读

[源码解析] NVIDIA HugeCTR，GPU版本参数服务器--- (5) 嵌入式hash表

在这篇文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

ide

lua

数据

原创 2022-02-28 16:34:17 212 阅读

[源码解析] NVIDIA HugeCTR，GPU版本参数服务器--- (6) --- Distributed hash表

在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

lua

sed

成员变量

原创 2022-02-28 16:31:53 188 阅读

[源码解析] NVIDIA HugeCTR，GPU版本参数服务器--- (4)

在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

数据

成员变量

读取数据

原创 2022-02-28 16:30:40 261 阅读

[源码解析] NVIDIA HugeCTR，GPU版本参数服务器---(3)

在本系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

scala

数据

数据集

原创 2022-02-28 16:30:10 335 阅读

[源码解析] NVIDIA HugeCTR，GPU版本参数服务器--- (2)

在这篇文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

lua

json

数据

原创 2022-02-28 16:29:44 350 阅读

[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

权重

数据

并行性

原创 2022-02-28 16:29:15 891 阅读

[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器 --(1)

本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。

数据集

数据

推荐系统

原创 2022-02-28 16:28:37 372 阅读

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

数据

进程组

初始化

原创 2022-02-28 16:27:54 641 阅读

[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本文将对 Megatron 的基本架构做一下梳理。

ide

数据

初始化

原创 2022-02-28 16:27:30 3570 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

罗西的思考