1.什么是EhCacheEhCache是一个比较成熟的Java缓存框架，最早从hibernate发展而来，是进程中的缓存系统
它提供了用内存，磁盘文件存储，以及分布式存储方式等多种灵活的cache管理方案，快速简单。2.注解使用2.1 @Cacheable应用到读取数据的方法，即可缓存的方法,如查找方法
先从缓存中读取，如果没有再用相应方法获取数据，然后把数据添加到缓存中。
该注解主要有下面几个参
转载
2023-11-24 00:00:18
93阅读
# 使用Docker进行分布式训练的科学普及
随着深度学习模型日益复杂，训练时间的长短直接影响到模型的研究与开发效率。为了加速训练过程，分布式训练成为了一个热门的选择。而Docker作为一种轻量级的容器化技术，可以帮助我们更方便地实现分布式训练。本文将简要探讨如何使用Docker进行分布式训练，并提供一些示例代码。
## 什么是分布式训练？
分布式训练是将训练过程分散到多个计算节点上，以提高
原创
2024-11-01 04:52:59
52阅读
人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。目录简介构建步骤实现方式Demo演示一、简介1. 使用单台机器或者单个GPU/CPU来进行模型训练，训练速度会受资源的影响，因为毕
转载
2024-08-18 14:35:06
68阅读
分布式训练 深度学习中，越来越多的场景需要分布式训练。由于分布式系统面临单机单卡所没有的分布式任务调度、复杂的资源并行等问题，因此，通常情况下，分布式训练对用户有一定的技术门槛。 在 OneFlow 中，通过顶层设计与工程创新，做到了 分布式最易用，用户不需要特别改动网络结构和业务逻辑代码，就可以方
转载
2021-02-15 06:47:00
317阅读
2评论
参考这篇文章：https://zhuanlan.zhihu.com/p/41473323 Tensorflow在1.4版本中引入了tf.estimator.train_and_evaluate函数，用来替换老版中Experiment类提供的功能。tf.estimator.train_and_evaluate简化了训练、评估和导出Estimator模型的过程，抽象了模型分布式训练和评估的细
转载
2023-05-27 09:25:37
169阅读
本文介绍最简单的pytorch分布式训练方法：使用torch.nn.DataParallel这个API来实现分布式训练。环境为单机多gpu，不妨假设有4个可用的gpu。一、构建方法使用这个API实现分布式训练的步骤非常简单，总共分为3步骤： 1、创建一个model，并将该model推到某个gpu上（这个gpu也将作为output_device，后面具体解释含义），不妨假设推到第0号gpu上，d
转载
2023-10-09 19:44:08
256阅读
docker的安装及基本命令这里就略过了这次需要在docker上部署两个项目，整体的流程为：安装环境 -> 生成容器 -> 启动容器 -> git代码并运行1. 安装环境本次使用的是Ubuntu环境，我第一次使用了daocloud.io/ubuntu, 下载好后安装环境有问题。然后换了ubuntu，使用正常，这里建议直接 docker pull ubuntu，下载stars最高的
转载
2023-06-13 20:17:55
259阅读
在Spring Boot 2.0 整合携程Apollo配置中心一文中，我们在本地快速部署试用了Apollo。本文将介绍如何按照分布式部署（采用Docker部署）的方式编译、打包、部署Apollo配置中心，从而可以在开发、测试、生产等环境分别部署运行。一、准备工作本文将在CentOS 7.x上部署Apollo配置中心服务端。1.1 Java和MySQ对于Java和MySQL的要求可以参考Spring
转载
2024-08-20 11:13:03
34阅读
Docker安装FastDFS分布式文件系统：
• 1.首先下载FastDFS文件系统的docker镜像
• 2.拉取镜像
• 3.查看镜像
• 4.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）：
• 5.使用docker镜像构建storage容器（存储服务器，提供容量和备份服务）：
转载
2023-07-11 07:31:58
122阅读
最近工作中接触了一个 Python + Flask 的新项目，项目中使用了 Ceph 对象存储服务。遂在开发环境使用 Docker 搭建了一套 Ceph 集群。Ceph 官方文档Ceph 介绍Ceph 是一个开源的分布式存储系统，提供了对象存储、块存储和文件系统三种存储接口。Ceph 将数据存储在逻辑存储池中，使用 CRUSH 分布式算法决定如何将数据分散存储在集群的各个节点上，以实现高可用性和数
对计算机来讲，所谓的计算，不过是将存储在各个地方的数据通过数据总线进行传输，然后经过算术逻辑单元执行一系列预设好的规则，最终再将输出写入到某个位置。在计算能力有限、存储成本偏高的情况下，就需要利用好计算机的资源，让它的计算能力发挥出最大的价值，所以在编程初期用指令直接操作硬件，例如汇编语言中常见的操纵寄存器，本质上都是为了减少数据传输的时间，充分利用CPU的计算能力，避免因为数据的长时间传输导致C
原创
2021-04-27 21:59:54
658阅读
关于pytorch多GPU分布式训练数据并行：把数据分成不同份数放在不同的GPU上面去跑： 单机单卡：torch.cuda.is_avliable() 模型拷贝：model.cuda --->原地操作不用赋值,data = data.cuda（） torch.save 模型、优化器、其他变量#单机多卡:torch.n
转载
2024-03-18 13:01:08
352阅读
分布式事务实战方案汇总1. 最终一致性1.1 本地事务表 + 轮询补偿交互流程场景：重构业务新老系统双写库同步项目背景分布式事务设计方案场景Q&A场景：第三方认证核验项目背景分布式事务设计方案场景Q&A1.2 本地事务表 + 事务消息交互流程场景：分库分表路由字段绑定项目背景分布式事务设计方案场景Q&A1.3 TCC（Try-Commit-Cancel）交互流程场景：积分商
转载
2023-10-04 18:24:55
185阅读
上一篇 关于spark 和ray整合的文章在这：
祝威廉：Spark整合Ray思路漫谈zhuanlan.zhihu.com
另外还讲了讲Spark 和Ray 的对比：
祝威廉：从MR到Spark再到Ray，谈分布式编程的发展zhuanlan.zhihu.com
现在我们来思考一个比较好的部署模式，架构图大概类似这样： 首先，大家可以理解为
转载
2023-12-25 13:23:19
122阅读
Scrapy单机架构上图的架构师一种单机架构, 只在本机维护一个爬取队列, Scheduler进行调度, 而要实现多态服务器共同爬去数据关键就是共享爬取队列.Scrapy不可以自己实现分布式 : 1. 多台机器上部署的scrapy灰鸽子拥有各自的调度器, 这样就使得多态机器无法分配start_urls列表中的url(多台机器无法共享同一个调度器) 2. 多台机器爬取到的数据无法通过同一个管道对
转载
2024-08-14 23:59:15
59阅读
# 基于 Docker 容器的分布式训练指南
随着深度学习和机器学习的发展，分布式训练已经成为一种提高模型训练效率的重要手段。Docker 容器不仅能够简化环境配置，也使得在不同设备间的分布式训练变得更加简单。本文将为刚入行的小白全面讲解如何实现“基于 Docker 容器的分布式训练”。
## 流程概述
下面是实现基于 Docker 的分布式训练的关键步骤：
| 步骤 | 描述 |
|--
原创
2024-07-31 07:41:56
404阅读
前言 Spark是一种大规模、快速计算的集群平台，本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。 本文的参考配置为：Deepin 15.11、Java 1.8.0_241、Hadoop 2.10.0、Spark 2.4.4、scala 2.11.12 &nb
转载
2024-01-17 09:03:46
46阅读
1、更换Tensorflow版本后，horovodrun有问题，说没有安装MPI或Gloo。解决：按步骤全部重新安装一遍。理解：不知道Horovod到tensorflow有什么依赖关系。可能也和版本有关系，我尝试了多遍。目前使用tensorflow 1.14.0版本/MPI 4.0.0版本安装环境没有问题。2、当使用两台机器进行GPU训练时，报如下错误：WARNING: Open MPI acce
转载
2021-09-30 17:03:00
4528阅读
DataParallel & DistributedDataParallel分布式训练 参考博客 《DataParallel & DistributedDataParallel分布式训练》: 细节参考博客(推荐) ###DDP # 引入包 import argparse import torch.d
原创
2022-02-15 13:50:29
826阅读
1评论
泰勒公式
原创
2021-08-19 13:01:08
254阅读
