罗西的思考的博客_001_机器学习,002_大数据,003_白话解析(4)

[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是第十六篇，看看 horovod **弹性训练**中 worker 的生命周期。

Horovod

原创 2021-07-25 15:48:36 188 阅读

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator

Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第一篇，介绍kubeflow tf-operator。

IT业界

原创 2021-07-25 14:11:58 885 阅读

[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十七篇，看看horovod 的容错机制。

其他

原创 2021-07-23 16:44:18 539 阅读

[源码解析] 深度学习分布式训练框架 horovod (13) --- 弹性训练之 Driver

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十三篇，看看 horovod 弹性实现中的 Driver 角色。

框架

原创 2021-07-13 15:36:00 291 阅读

[源码解析] 深度学习分布式训练框架 horovod (11) --- on spark --- GLOO 方案

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十一篇，看看horovod 如何运行在 spark 之上（GLOO实现）。

Horovod

原创 2021-07-12 09:10:26 287 阅读

[源码解析] 深度学习分布式训练框架 horovod (12) --- 弹性训练总体架构

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十二篇，看看horovod 如何实施弹性训练。

Horovod

原创 2021-07-12 09:09:08 523 阅读

[源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第九篇，介绍 horovod on spark 如何启动。

编程语言

编程

go

go语言

分布式训练框架

原创 2021-07-07 10:21:39 401 阅读 1点赞

[源码解析] 深度学习分布式训练框架 horovod (10) --- run on spark

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第十篇，看看horovod 如何运行在 spark 之上。

深度学习

源码解析

horovod

分布式训练框架

原创 2021-07-07 10:14:01 668 阅读

Redis SWAPDB 命令背后做了什么

新使用一个功能之前必须慎重。除了进行大量测试以外，如果有条件，可以读取相关代码看看其内部执行原理。本文我们就通过源码来看看 Redis SwapDB 命令是否靠谱。

Redis

原创 2021-07-02 10:17:09 141 阅读

Linux ：忘记使用nohup该如何补救

本文给出一种忘记使用nohup该如何补救的办法。

Linux

原创 2021-07-02 10:15:45 453 阅读 1收藏

用 Facebook Hydra 参数配置框架来简化程序配置

Facebook Hydra 允许开发人员通过编写和覆盖配置来简化 Python 应用程序（尤其是机器学习方面）的开发。开发人员可以借助Hydra，通过更改配置文件来更改产品的行为方式，而不是通过更改代码来适应新的用例。

代码

原创 2021-07-02 10:15:03 853 阅读

[源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第七篇，看看 Horovod 如何与 TensorFlow 融合。

代码

原创 2021-07-02 10:14:17 580 阅读

[源码解析] 深度学习分布式训练框架 horovod (8) --- on spark

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。接下来几篇介绍 horovod 如何运行在 spark 之上。本文是第八篇，介绍 horovod on spark 的总体架构。

代码

原创 2021-07-02 10:13:02 371 阅读 1点赞

[源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第六篇，看看 Horovod 后台线程架构。

java

编程语言

后端开发

原创 2021-06-30 16:58:47 1088 阅读 2点赞 2评论

[源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第五篇，看看 Horovod 如何融合各个机器学习框架。

Java

编程语言

后端开发

原创 2021-06-30 16:53:39 756 阅读 1点赞

[源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第四篇，看看如何获取 host 之间的路由等网络信息。

程序语言

编程语言

Java

后端开发

原创 2021-06-30 16:48:42 564 阅读 1点赞

[源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第三篇，从 python 开始进入 Horovod 世界，看看 Horovodrun 背后做了什么。

java

编程语言

后端开发

原创 2021-06-30 16:41:29 716 阅读 1点赞

[源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。系列大约有15 ～ 18 篇，本文是系列第二篇，从用户角度切入 Horovod。

Java

后端开发

编程语言

原创 2021-06-30 16:33:59 1732 阅读 2点赞

[源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。系列大约有15 ～ 18 篇，本文是系列第一篇，介绍相关背景知识。

Java

后端开发

编程语言

原创 2021-06-30 16:30:14 2687 阅读 1点赞

[源码解析] 并行分布式框架 Celery 之 Lamport 逻辑时钟 & Mingle

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的Lamport 逻辑时钟 & Mingle。

源码分析

框架

原创 2021-05-30 12:19:58 469 阅读

[源码分析] 定时任务调度框架 Quartz 之故障切换

之前在 Celery 的故障切换之中提到了 Quartz 的故障切换策略，我们就顺便看看 Quartz 如何实现。大家可以互相印证下，看看这些系统之间的异同和精华所在。

源码分析

框架

原创 2021-05-30 12:19:56 682 阅读

拿破仑，技术大牛晋级管理之后的困境

拿破仑可以说是欧洲历史上顶尖的军事天才，但是当他从元帅晋级为皇帝之后屡犯错误，导致滑铁卢战役失败。拿破仑就是典型的技术大牛转行管理，面对大项目之后失败的典型案例。本文不会从当时法国乃至欧洲的总体政治经济角度分析，而只是从软件项目角度看看，一个技术大牛在带团队之后，可能会犯哪些错误，以及如何纠正。

IT技术经理

原创 2021-05-20 20:46:42 266 阅读

用水浒传来学习OKR

本文通过水浒传的一个场景分析，来帮助大家学习 OKR 概念。

企业

OKR

原创 2021-05-20 20:46:10 276 阅读

[源码解析] 并行分布式框架 Celery 之容错机制

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的故障转移容错机制。

分布式框架

原创 2021-05-20 20:45:03 1014 阅读

[白话解析] 带你一起梳理Word2vec相关概念

本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来说，运用感性直觉的思考来帮大家梳理Word2vec相关概念。

Word2vec

Word2vec概念

原创 2021-04-26 11:46:29 1623 阅读

[白话解析] Flink的Watermark机制

对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。

Flink

Watermark

原创 2021-04-26 11:45:57 1720 阅读

[源码分析] 从源码入手看 Flink Watermark 之传播过程

本文将通过源码分析，带领大家熟悉Flink Watermark 之传播过程，顺便也可以对Flink整体逻辑有一个大致把握。

Flink

源码分析

原创 2021-04-26 11:45:38 1421 阅读

[白话解析]以水浒传为例学习隐马尔可夫模型

本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释隐马尔可夫模型。并且从名著中找了个具体应用场景来帮助大家深入这个概念。

隐马尔可夫模型

模型

原创 2021-04-26 11:45:15 1259 阅读

[白话解析]用水浒传为例学习最大熵马尔科夫模型

本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵马尔可夫模型。并且从名著中找了个具体应用场景来帮助大家深入这个概念。

最大熵马尔科夫模型

模型

原创 2021-04-26 11:44:44 1653 阅读

[白话解析] 用水浒传为例学习条件随机场

本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释条件随机场。并且用水浒传为例学习。并且从名著中找了具体应用场景来帮助大家深入这个概念。

学习条件随机场

随机场

原创 2021-04-26 11:44:10 789 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

罗西的思考