声明本文所有内容基于Docker，k8s集群由rancher提供的rke工具搭建（后文中称为rancher版本k8s，也适用于使用RancherUI搭建的集群），GPU共享技术采用了阿里GPU Sharing。使用了其他容器技术的本文不一定适用，或者使用了kubeadm进行k8s搭建的可能有部分不适用，kubeadm搭建的k8s在部署GPU Sharing时网上可查的资料和官网资料都很多，而ran
转载
2024-03-11 12:55:18
167阅读
深入研究学习Pod首先需要认识到Pod才是Kubernetes项目中最小的编排单位原子单位，凡是涉及到调度，网络，存储层面的，基本上都是Pod级别的！官方是用这样的语言来描述的: A Pod is the basic building block of Kubernetes–the smallest and simplest unit in the Kubernetes object model
转载
2024-09-24 17:39:59
77阅读
灵活共享 - Kubernetes 中的 GPU 时间片技术详解在上一篇文章中，我们深入探讨了 NVIDIA Multi-Instance GPU (MIG) 技术，它通过硬件分区提供了精准、隔离的 GPU 资源切片，非常适合需要性能保障的场景。但是，MIG 对硬件型号有要求（需要 A100/H100 等较新的数据中心卡），并且需要在节点上进行额外的配置。那么，对于那些不支持 MIG 的 GPU，
目录 文章目录目录实验环境实验软件1、调度器2、调度流程1.调度框架1.扩展点（Extension Points）2.示例3、调度器调优4、优先级调度关于我最后 实验环境实验环境：
1、win10,vmwrokstation虚机；
2、k8s集群：3台centos7.6 1810虚机，1个master节点,2个node节点
k8s version：v1.22.2
containerd:
转载
2024-01-18 19:20:45
529阅读
我们搜集整理了国内外主要的深度学习云服务商，包括云GPU供应商、WebApp托管商和MLOps平台商。推荐：用 NSDT编辑器 快速搭建可编程3D场景1、云GPU供应商只有一台笔记本电脑?不足以运行你的AI模型，忘记它吧，使用云 GPU ☁️ 更快、更便宜地训练你的模型，因为下雨了 ? 云 GPU云供应商定价免费政策Google Colab ❤️免费永久免费*Kaggle Kernels免费永久免
根据 Gartner 对全球 CIO 的调查结果显示，人工智能将成为 2019 年组织革命的颠覆性力量。对于人工智能来说，算力即正义，成本即能力，利用 Docker 和 Kubernetes 代表云原生技术为 AI 提供了一种新的工作模式，将 GPU 机器放到统一的资源池进行调度和管理，这避免了GPU 资源利用率低下和人工管理的成本。因此，全球主要的容器集群服务厂商 Kubernetes 都提供了
转载
2024-03-18 08:46:51
336阅读
2018-11-8：科学使用谷歌GPU教你免费使用谷歌GPU一个Gmail邮箱对应一个免费GPU在谷歌GPU运行本地代码其他 教你免费使用谷歌GPU一个Gmail邮箱对应一个免费GPU跑计算机视觉的demo的时候，用CPU训练总是很慢，实验室又没有GPU，怎么办？谷歌向所有拥有Gmail账号的人都提供了一个免费GPU。这篇文章记录一下如何用谷歌GPU跑实验： 首先登陆Gmail邮箱（没有的请自觉
转载
2024-03-17 16:10:25
69阅读
根据 Gartner 对全球 CIO 的调查结果显示，人工智能将成为 2019 年组织革命的颠覆性力量。对于人工智能来说，算力即正义，成本即能力，利用 Docker 和 Kubernetes 代表云原生技术为 AI 提供了一种新的工作模式，将 GPU 机器放到统一的资源池进行调度和管理，这避免了GPU 资源利用率低下和人工管理的成本。因此，全球主要的容器集群服务厂商 Kubernetes
转载
2024-04-29 14:41:18
50阅读
Kubernetes GPU使用指南
随着深度学习和机器学习等计算密集型任务的普及，GPU（Graphics Processing Unit）在容器化应用中的应用也愈发重要。Kubernetes作为目前最受欢迎的容器编排工具之一，也支持GPU资源的管理和调度。在本文中，我将向大家介绍如何在Kubernetes集群中实现GPU资源管理。
整个过程可分为以下步骤：
| 步骤 | 操作 |
| -
原创
2024-05-08 11:14:16
126阅读
一 在存储器方面的优化 1.主机的内存分配 为了防止程序中分配的内存为分页内存，有被置换出内存条的可能，可以调用
转载
2024-04-01 09:28:25
370阅读
本小节笔记大纲：1.Communication patternsgather,scatter,stencil,transpose2.GPU hardware & Programming ModelSMs,threads,blocks,orderingSynchronizationMemory model: local, shared, globalAtomic Operation3.Eff
转载
2024-04-29 17:06:59
76阅读
最近想玩一玩深度学习，需要训练一些 yolo 之类的网络进行对象检测，苦于我的本子没有独显又没有实验室的机器给用，想起之前看到的 google 提供免费 GPU 用来学习的消息，就尝试一下。利用Jupyter Notebook测试Google Drive的GPU首先登录 Google Drive：https://drive.google.com。访问 google 需要一些不可描述的操作，此处不描
转载
2024-03-14 08:11:32
547阅读
9. CUDA shared memory使用------GPU的革命序言：明年就毕业了，下半年就要为以后的生活做打算。这半年，或许就是一个抉择的时候，又是到了一个要做选择的时候。或许是自己的危机意识比较强，一直都觉得自己做得不够好，还需要积累和学习。或许是知足常乐吧，从小山沟，能到香港，一步一步，自己都比较满足，只是心中一直抱着一个理想，坚持做一件事情，坚持想做点事情，踏踏实实，曾经失败过，曾经
转载
2024-05-26 20:16:26
0阅读
GPGPU可以被称为通用图形处理器。其中第一个“GP”通用目的（GeneralPurpose）而第二个“GP”则表示图形处理（GraphicProcess），这两个“GP”搭配起来就是“通用图形处理”。而再加上“U”(Unit)就成为了完整的通用处理器。 目前拥有双向发展的AMD更需要让GPU有个完美的发展前景，在GPU中基于了一套完整的DiretX、OpenGL开放标准，并且在发布了开源
转载
2024-04-28 10:50:58
1150阅读
一、前言 本文介绍CUDA编程的共享内存和同步。共享内存中的变量（核函数中用__shared__声明），在GPU上启动的每个线程块，编译器都创建该变量的副本，若启动N个线程块，则有N个该变量副本，为每个线程块私有；同步则是使线程块中所有的线程能够在执行完某些语句后，才执行后续语句。二、线程块、线程索引以下为线程块与线程的层次结构图 &
转载
2024-04-26 14:51:10
1357阅读
作为最快的IPC方式，共享内存当然得好好学一下咯。 System V进程间通信方式：信号量、消息队列、共享内存。他们都是由AT&T System V2版本的UNIX引进的，所以统称为System V IPC.除了下面讲的System V IPC，还有mmap也可以将文件进行内存映射，从而实现共享内存的效果。对比可以参考 Link 参考 它们声明在头文件 sy
转载
2024-08-06 13:36:09
160阅读
之前写过一篇《Jenkins On Mesos—Jenkins上Mesos Plugin的使用》的博客，说的是Jenkins通过Mesos Plugin来实现slave节点的动态扩展和收缩。如果使用docker的人，不知道kubernetes的话，总是显得有些尴尬，所以最近自己也开始在测试环境使用目前火热的Kubernetes 1.8版（之前是在用Marathon+Mesos那一套）。Marath
转载
2023-10-18 11:03:08
122阅读
Tip：这里需要提醒一下，以下方法只适用于局域网，如果要跨外网访问的话建议直接上 TeamViewer ，跨外网的文件传输速度取决于网络速度，但局域网的文件共享传输速度是非常快的！A电脑配置需要共享的文件夹新建一个需要共享的文件夹 Share（名称自己定），选中改文件夹，右键选择属性，在属性面板中选择共享： 在共享面板中选择需要共享的用户对象，一般选择访客 Guest
转载
2024-10-02 08:44:45
132阅读
本文为英伟达GPU计算加速系列的第三篇，前两篇文章为：AI时代人人都应该了解的GPU知识：主要介绍了CPU与GPU的区别、GPU架构、CUDA软件栈简介。超详细Python Cuda零基础入门教程：主要介绍了CUDA核函数，Thread、Block和Grid概念，内存分配，并使用Python Numba进行简单的并行计算。阅读完前两篇文章后，相信读者应该能够将一些简单的CPU代码修改成GPU并行代
转载
2024-05-12 17:15:34
321阅读
共享内存是操作系统在内存中开辟一块空间，通过页表与共享区建立映射关系，使两个进程看到同一份资源，实现进程间通信。1、创建共享内存 参数：第一个参数为key，一般使用ftok()函数生成，key值不能冲突，标识共享内存的唯一性(会向上取整至4KB的整数倍)
转载
2024-07-03 18:10:11
3752阅读
