罗西的思考的博客_001_机器学习转载博文_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费资料
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# 001_机器学习

[源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用

本文是 PyTorch 分布式系列的第五篇，以几篇官方文档的翻译为基础，带领大家进入DistributedDataParallel，在后续会用5～6篇左右做深入分析。

应用程序

数据

加载

.net

进程组

转载 2021-11-19 10:12:32 656 阅读

[源码解析] PyTorch 流水线并行实现 (5)--计算依赖

本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。

依赖关系

后向传播

反向传播

深度学习

执行顺序

转载 2021-10-11 14:21:27 442 阅读

[源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制，本文我们介绍如何切分数据和运行时系统。

深度学习

数据

html

封装

工作线程

转载 2021-09-29 16:56:34 534 阅读

[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段，运行时引擎和通信模块，本文是 PipeDream 系列最后一篇，介绍 1F1B 策略，这是 PipeDream 最大的贡献。

后向传播

权重

数据

反向传播

新版本

转载 2021-09-17 16:06:58 407 阅读 1点赞