罗西的思考的博客_001_机器学习,002_大数据,003_白话解析

[源码解析] 并行分布式任务队列 Celery 之负载均衡

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的负载均衡机制。

负载均衡

置顶原创 2021-05-20 17:41:31 468 阅读

[源码解析] 并行分布式任务队列 Celery 之 EventDispatcher & Event 组件

Celery是一个简单、灵活且可靠的，处理大量事件的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文讲解 EventDispatcher 和 Event 组件如何实现。

负载均衡

置顶原创 2021-05-20 17:41:33 503 阅读

[源码分析]并行分布式任务队列 Celery 之子进程处理消息

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。在前文中，我们介绍了Celery 多线程模型，本文介绍子进程如何处理消息。

负载均衡

置顶原创 2021-05-20 17:41:36 610 阅读

[梁山好汉说IT] 如何理解脑裂问题

本文通过梁山好汉的例子来加深理解脑裂问题

负载均衡

置顶原创 2021-05-20 17:41:47 385 阅读

[白话解析] 深入浅出熵的概念 & 决策树之ID3算法

本文通过实例来给帮助大家深入理解熵的概念 & 决策树之ID3算法。

负载均衡

置顶原创 2021-05-20 17:41:46 574 阅读

[梁山好汉说IT] 区块链在梁山的应用

区块链属于一种去中心分布式数据存储系统，有其擅长的应用场景，也有其缺点。下面用梁山为例来阐释下区块链部分概念&应用。

负载均衡

置顶原创 2021-05-20 17:41:45 273 阅读

[梁山好汉说IT] 梁山好汉和秒杀系统

今天看了一篇好文章，里面一些思路颇值得借鉴。先摘录总结精华。然后看看梁山好汉如何处理秒杀系统(系统隔离/系统搭建/风控过滤/削峰/信号广播......)。

负载均衡

置顶原创 2021-05-20 17:41:44 284 阅读

[梁山好汉说IT] 梁山好汉和抢劫银行

今天看了一篇文章《史上最有学问的银行劫匪，教你如何把握人生重大机会》。先摘录精华如下，然后看看梁山好汉在类似情况下如何处理 (东京汴梁看灯项目)

负载均衡

置顶原创 2021-05-20 17:41:43 360 阅读

[梁山好汉说IT] 用实例来深入理解容器概念

如何对没有软件开发经验的人解释容器? 集装箱真的能够完美解释容器嘛? 除了集装箱还有其他常见实体能够解释容器嘛? 我找到了一个能够和集装箱搭配起来解释容器的例子：军队，或者更准确的是说北宋军队制度。本文将用具体应用场景帮助大家深入这个概念。

负载均衡

置顶原创 2021-05-20 17:41:42 283 阅读

[源码分析] 分布式任务队列 Celery 多线程模型之子进程

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。在前文中，我们介绍了Celery 多线程模型，但是我们略过了子进程这一个阶段，本文看看子进程如何继续启动。

负载均衡

置顶原创 2021-05-20 17:41:38 573 阅读

[源码分析] 并行分布式任务队列 Celery 之 Timer & Heartbeat

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。之前我们用了十几篇文章，介绍了 Kombu 和 Celery 的基础功能。从本文开始，我们介绍 Celery 的一些辅助功能（比如负载均衡，容错等等）。其实从某种意义上来说，这些辅助功能更加重要。本文我们介绍 Timer 和 Heart 这两个组件。

负载均衡

置顶原创 2021-05-20 17:41:35 766 阅读

[源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用分布式 RPC 框架实现参数服务器。

服务器

初始化

sed

原创 2021-12-23 10:49:04 396 阅读

[源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布

服务器

后向传播

成员变量

原创 2021-12-23 10:48:41 232 阅读

[源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中

服务器

批处理

后向传播

原创 2021-12-23 10:48:26 141 阅读

[源码解析] PyTorch分布式优化器(1)----基石篇

我们接下来通过几篇文章来看看分布式优化器。本系列分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文是基石篇，通过本文，大家可以了解到模型的构造，优化器的基本原理，两者之间的交互，如何优化更新模型等等，这为后面的逐级分析打下了一个基础。

成员变量

.net

子节点

ide

权重

原创 2021-12-10 15:03:29 195 阅读

[源码解析] PyTorch分布式优化器(2)----数据并行优化器

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍数据并行DP/DDP/Horovod 之中的优化器。

数据

后向传播

反向传播

初始化

sed

原创 2021-12-10 15:02:03 230 阅读

[源码解析] PyTorch分布式优化器(3)---- 模型并行

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/D

数据

初始化

后向传播

ide

.net

原创 2021-12-10 15:01:40 716 阅读

[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上)

上文已经分析了如何启动/接受反向传播，如何进入分布式autograd 引擎，本文和下文就看看如何分布式引擎如何运作。通过本文的学习，读者可以对 dist.autograd 引擎基本静态架构和总体执行逻辑有所了解。

反向传播

子节点

scala

sed

成员变量

原创 2021-12-07 11:30:37 290 阅读

[源码解析] PyTorch 分布式 Autograd (6) ---- 引擎(下)

上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。

lua

ide

反向传播

后向传播

html

原创 2021-12-07 11:28:30 235 阅读

[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎

上文我们看到了AutogradMetadata，DistAutogradContainer 和 DistAutogradContext 等一系列基础类。我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。

反向传播

后向传播

图例

基础类

sed

原创 2021-12-06 09:37:29 328 阅读

[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关

我们已经知道 dist.autograd 如何发送和接受消息，本文再来看看如何其他支撑部分，就是如何把发送接受两个动作协调起来，如何确定每个发送/接受节点，如何确定每一个消息交互Session。

后向传播

反向传播

sed

ide

python

原创 2021-12-06 09:35:58 182 阅读

[源码解析] PyTorch 分布式(13) ----- DistributedDataParallel 之反向传播

上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。

sed

迭代

反向传播

子节点

后向传播

原创 2021-12-01 09:42:29 402 阅读

[源码解析] PyTorch 分布式 Autograd (1) ---- 设计

本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。

反向传播

后向传播

html

依赖关系

数据

原创 2021-12-01 09:41:31 325 阅读

[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础

前文我们给出了分布式autograd的设计思路，本文开始，我们进行具体源码分析。因为无论是前向传播还是反向传播，都需要依赖 RPC 来完成，所以我们先看看封装于 RPC 之上的一些基本功能，比如初始化，代理（RPC 相关功能都是基于代理完成），消息接受，发送等等。

python

初始化

回调函数

ide

c++

原创 2021-12-01 09:39:56 279 阅读

[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之构建Reducer和Join操作

sed

初始化

ide

迭代

位图

原创 2021-11-29 10:17:51 501 阅读

[源码解析] PyTorch 分布式(12) ----- DistributedDataParallel 之前向传播

前文已经对Reducer如何构建和几个重要场景做了介绍，本文就来分析 Reducer 如何实现前向传播。

sed

后向传播

重置

初始化

i++

原创 2021-11-29 10:14:18 1312 阅读

[源码解析] PyTorch 分布式(9) ----- DistributedDataParallel 之初始化

前文我们对DDP的一些支撑模块已经做了介绍，这为本文做了必要的铺垫，本文就开始介绍Python世界代码和C++世界的初始化部分。下文介绍C++世界的核心代码。

初始化

sed

ide

数据

c++

原创 2021-11-26 09:21:40 969 阅读

[源码解析] PyTorch 分布式(10)------DistributedDataParallel 之 Reducer静态架构

通过上文分析，我们已经知道了 DDP 的基本架构和如何初始化，本文就看看其核心 Reducer 的静态架构。

sed

初始化

ide

成员变量

迭代

原创 2021-11-26 09:20:51 310 阅读

[源码解析] PyTorch 分布式(7) ----- DistributedDataParallel 之进程组

本文是 PyTorch 分布式系列的第七篇，介绍 DistributedDataParallel 所依赖的进程组概念。

进程组

sed

初始化

封装

ide

原创 2021-11-22 09:35:52 180 阅读

[源码解析] PyTorch 分布式(8) -------- DistributedDataParallel之论文篇

本文是PyTorch分布式的第8篇，工欲善其事，必先利其器，为了更好的分析代码，我们先来学习一下相关论文。

数据

应用程序

迭代

位图

后向传播

原创 2021-11-22 09:20:14 257 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

罗西的思考