我的环境：Win10 + Anaconda + tensorflow-gpu1.14 + CUDA10.0 + cuDNN7.6 + python3.6注意：tensorflow版本、CUDA版本、cuDNN版本和python版本是一一对应的。一、确定自己需要和可以安装的版本 1.查看自己的电脑是否支持搭建GPU环境和适合的CUDA版本控制面板 -> 设备管理器 -> 显示适配器，检
1 安装msys2msys2是一个在Windows上的Linux虚拟环境，在Linux上写的程序，可以使用msys2编译为Windows上的exe或者dll。 在msys2官网上下载msys2程序：下载链接。 下载完成后进行安装，安装成功后将安装目录C:\msys64和安装目录下的usr/bin目录C:\msys64\usr\bin添加到系统环境变量path中 以管理权限打开cmd，依次安装msy
目录云上深度学习实践（一）-GPU云服务器TensorFlow单机多卡训练性能实践云上深度学习实践（二）-云上MXNet实践1 背景 2015年11月9日，Google发布深度学习框架TensorFlow。Google表示，TensorFlow在设计上尤其针对克服其第一代深度学习框架DistBelief 的短板，灵活、更通用、易使用、更快，而且完全开源。在短短的一年时间内，在GitHub上，Te
转载
2024-06-11 22:24:49
32阅读
讲完了单机多卡的分布式训练的理论、TensorFlow和PyTorch分别的实现后，今天瓦砾讲一个强大的第三方插件：Horovod。Horovod是Uber开源的跨平台的分布式训练工具，名字来自于俄国传统民间舞蹈，舞者手牵手围成一个圈跳舞，与Horovod设备之间的通信模式很像，有以下几个特点：兼容TensorFlow、Keras和PyTorch机器学习框架。使用Ring-AllReduce算法，
转载
2024-10-23 22:08:31
26阅读
Tensorflow通过tf.train.Coordinator和tf.train.QueueRunner来完成。tf.train.Coordinator的功能为协同管理多线程的功能，例如一起工作，一起停止。Coordinator提供了三个函数：should_stop、request_step、join。tf.train.QueueRunner注意用于启动多个线程来操作同一个队列，而线程的启动
环境：win10 64位系统，带nVidia显卡在https://www.geforce.com/hardware/technology/cuda/supported-gpus查看是否支持自己的显卡用于加速训练学tensorflow之前试过一次安装GPU版本的TF，网上有很多教程，看着都挺繁琐，其实直接在anaconda里配置一下就好了，但anaconda默认下载源下载速度极慢，GPU
保姆级手把手教你安装TensorFlow-GPU，避免坑安装TensorFlow-GPU（bb几句，大佬勿喷）检查自己的电脑是否能安装GPU版本的==好了，这里说一下，一定要看，一定要看，一定要看一定要看！！！！！四遍了哦！==anaconda开始安装tf-gpu完成之后，下载安装CUDA和CUDNN==其实最烦的是下载这一步== 我这里已经说了方法检测cuda的安装检测tf好了，到这里就结束 安
转载
2024-05-03 11:28:16
68阅读
注：本文在根据 微软官方文档指导下，根据自己的学习中整理，并不完全照搬文档，但也大体和文档学习路线相似，主要为记录学习过程。官方学习地址：https://code.visualstudio.com/docs/other/dotnethttps://docs.microsoft.com/en-us/dotnet/csharp/getting-started/with-visual-studio-co
正 文一、为什么要学Stable Diffusion，它究竟有多强大？1.Stable Diffusion能干嘛我相信大家在刷视频的时候，或多或少都已经看到过很多AI绘画生成的作品了那SD到底可以用来干什么呢？01.真人AI美女我们最常看到的就是这些真人AI美女的账号(我有一个朋友，每到晚上的时候，就很喜欢看这种视频)02.生成头像、壁纸以前很多人花钱去找别人定制自己独一无二的头像或者壁纸现在SD
文章目录0. Forward0.1 TF1和TF2软件包区别0.2 pip和conda安装区别0.3 版本对应关系0.3.1 TF 和cuda以及python版本对应关系0.3.2 cuda和Nvidia driver对应关系1. pip install1.1 纯pip安装1.2 pip和conda组合安装(推荐)2. conda install2.1 conda 配置 Tsinghua镜像2.2
在当今的机器学习和深度学习领域，硬件资源的高效利用变得愈发重要，尤其是在大规模模型的训练中。同时，随着GPU数量的增加，如何高效地将计算任务分配到多块GPU上，也成为了一个极具挑战性的问题。在此背景下，我们聚焦于“ollama 如何支持多卡”这个主题。
### 问题背景
在使用`ollama`进行模型训练或推理时，缺乏对多卡的支持导致了显著的算力浪费和训练时间延长。具体现象包括：
- 多个GPU
1.概述TensorFlow分布式是基于GRPC库实现的高性能集群训练框架，能有效的利用多机多卡资源，将大型的模型或者代码拆分到各个节点分别完成，从而实现高速的模型训练。如下图所示，tensorflow的分布式集群中存在的节点主要有两种：ps节点和worker节点，ps节点是用于保存和计算训练参数的节点；worker节点是用于训练的节点。由于ps和worker节点都有可能存在多个，因此ps和wor
转载
2024-04-01 13:12:03
27阅读
笔者采用python3.6.7+TensorFlow1.12.0+CUDA10.0+CUDNN7.3.1构建环境PC端配置为GTX 1050+Intel i7 7700HQ 4核心8线程@2.8GHZTensorFlow-gpu的安装经历实在是坎坷的很首先显卡一定要支持没想到的是GTX 1050TI，GTX 1070TI等主流显卡竟然都不支持（还好我买的是GTX 1050）（并没有暗示需要一块TE
转载
2024-05-09 16:30:54
144阅读
**基于Tensorflow 2.X安装Object Detection API（Win 10 平台）Tensorflow平台是谷歌开发并推出的一套开源软件库，是一套专门用于机器学习的平台。经过多年来的版本迭代更新和无数机器学习相关的研究人员的维护和贡献，Tensorflow已经推出了第二个大版本更新，即Tensorflow 2.0。而随着这个大版本的推出，其中常用的目标检测模块的安装也产生了一些
转载
2024-04-24 15:35:51
130阅读
机器学习/深度学习模型可以通过不同的方式进行预测。 我的首选方法是将分析模型直接部署到流处理应用程序（如Kafka Streams或KSQL ）中。 您可以例如使用TensorFlow for Java API 。 这样可以实现最佳延迟和外部服务的独立性。 在我的Github项目中可以找到几个示例： 使用TensorFlow，H2O.ai，Deeplearning4j（DL4J）在Kafka
转载
2024-08-06 21:21:45
38阅读
我在“ 机器学习+ Kafka Streams示例 ” Github项目中添加了一个新示例： “ Python + Keras + TensorFlow + DeepLearning4j + Apache Kafka + Kafka流 ”。 这篇博客文章讨论了动机以及为什么这是可扩展的，可靠的机器学习基础设施技术的完美结合。 有关利用Apache Kafka开源生态系统构建机器学习/深度
转载
2024-05-06 15:16:00
35阅读
ResNet模型在GPU上的并行实践TensorFlow分布式训练：单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy4.8 分布式训练当我们拥有大量计算资源时，通过使用合适的分布式策略，我们可以充分利用这些计算资源，从而大幅压缩模型训练的时间。针对不同的使用场景，TensorFlow 在 tf.distribute.Strategy`中为
转载
2024-08-01 07:49:56
282阅读
瑞星终于出头了。一款优秀的卡卡让我终于结束了3721助手和雅虎助手的日子，因为他本流氓，只是不过做了一点看似不像流氓的好事。但本质还是流氓。那些流氓软件在卡卡面前都结束了。灰不溜丢的走了。那些弹出广告也没了。拍手称快。既然是流氓，总有一天要结束的。
原创
2006-12-06 10:17:00
659阅读
写在前面：学习者的3个阶段：第一类学习者把书本当权威，认为很多事都有唯一正确答案；第二类学习者有一种“把知识转化为能力”的能力；第三类层次更高的学习者，被称为“学习促进者”。这类人除了自己学习能力强，还能教会别人深刻掌握知识。所以在这里写下自己在分布式训练学习过程中的笔记与各位读者分享，希望借此机会也能提高自己，争取做一位“学习促进者”。本篇文章作为入门简单介绍一些基础概念，力求简洁明确，如有不准
NVIDIA DLI 深度学习入门培训 | 特设三场！！ 4月28日/5月19日/5月26日 正文共7797个字，13张图，预计阅读时间18分钟。本篇文章有2个topic，简单的分类器和TensorFlow。首先，我们会编写函数生成三种类别的模拟数据。第一组数据是线性可分的，第二种是数据是月牙形数据咬合在一起，第三种是土星环形数据。每组数据有两个类型，我们将分别建立模型，对每组数
转载
2024-05-27 10:24:32
50阅读
