技术背景在前面一篇博客中，我们介绍过MindSpore-CPU版本的Docker部署以及简单的案例测试，当时官方还不支持GPU版本的Docker容器化部署。经过MindSpore团队的努力，1.2.0版本的MindSpore-GPU终于推出了Docker版本的安装解决方案： 在本文中我们将针对这一方案进行直接的测试，并补充其中一些很有可能被忽略的细节，接下来直接上手。 更换华为云镜
转载
2024-06-06 15:46:38
175阅读
一、基础理论概述1. 有三种 preemption model 和适用场景非强占式内核(服务器)
强占式内核(低延迟桌面)
voluntary kernel preemption(桌面)2. 动态功耗 = C * Freq * Voltage^2 其中Freq 是CPU运行频率，Voltage是CPU核心的电压3. RT和DL视角下的负载均衡：n个runnable的RT task平均分
转载
2024-04-22 14:02:58
224阅读
目录一、MindSpore深度学习框架环境与配置介绍1、MindSpore深度学习框架介绍2、MindSpore环境搭建与配置二、MindStudio开发平台简介与安装1、MindStudio开发平台简介2、MindStudio安装三、训练工程创建及其相关配置四、Rotate模型介绍1、模型简介2、数据集介绍3、模型迁移 五、使用MindStudio对RotatE模型训练、评估和导出1、
技术日新月异，物联网、人工智能、深度学习等遍地开花，各类芯片名词CPU，GPU, TPU, NPU层出不穷…它们都是什么？又有着什么千丝万缕的关系和区别？接下来，统一介绍一下：01 CPUCPU最早用于计算机的控制单元和运算单元，随着计算机技术的发展，CPU逐渐成为了计算机系统中最重要的部分，担负着整个计算机系统的核心任务。CPU由多个结构组成，其中包括运算器（ALU, Ari
转载
2024-08-30 13:53:32
488阅读
# Docker GPU 共享调度指南
随着深度学习和高性能计算的广泛应用，GPU的使用正变得日益普遍。Docker的出现使得开发和部署应用变得更加高效，尤其是在多用户共享GPU资源的场景下。本文将详细介绍如何实现“Docker GPU 共享调度”，适合刚入行的小白学习。我们将通过一个清晰的流程图、代码示例以及必要的解释，一步一步引导你完成这个任务。
## 1. 流程概述
下面是实现Dock
原创
2024-09-24 03:36:20
162阅读
1. CPU - 中央处理器：全能指挥官角色定位：计算机系统的“大脑”和“控制中心”。它负责执行操作系统、应用程序的各种指令，管理整个
深度学习最近取得的成功势不可挡：从图像分类和语音识别到图片标注、理解视觉场景、视频概述、语言翻译、绘画，甚至是生成图像、语音、声音和音乐！ 随着我们的家变得越来越智能，你会发现许多设备都会需要连续地使用深度学习应用、收集和处理数据。所以我们需要新的硬件，一个比 Intel Xeon 所驱动的服务器更加高效的硬件。一个英特尔服务器 CPU 可能会消耗 100-150 瓦功率并需要一个有着冷却装置的超
转载
2024-09-06 19:52:24
77阅读
一、并行编程模型介绍共享内存模型： 并行程序中的进程或线程可以通过对共享内存区的读写操作来实现互相间的通信。该模型关注并行任务的划分以及映射到进程或线程的指派分配。适用于共享存储多处理器。该类型主要有OpenMP、基于POSIX线程库的多线程程序等。消息传递模型： 各个并行任务之间不能通过程序地址的访问获得另一任务的数据，必须显式提出数据通信请求才能在任务间交互信息。该模型关注数据的分布情况。
转载
2024-04-24 10:53:20
294阅读
具体步骤 1.安装并配置好caffe及python接口（前提工作）2.从Github上下载Faster R-cnn的源代码 使用命令：git clone –recursive https://github.com/rbgirshick/py-faster-rcnn.git 必须加上 –recursive，递归下载所有相关链接中的内容。3.生成Cython模块 进入faster-rcnn目录
转载
2024-10-17 08:15:41
137阅读
在这节课中你将了解到FortiASIC芯片和Fortinet的夹层卡是如何加速FortiGate的性能的。 专用硬件的加速处理与一般CPU的传统处理不同。 在完成这一课程之后，你应该具备这些实用技能，你可以使用这些技巧来优化配置，以增强网络和安全性能。 你将能够描述Fortinet的芯片组，识别IP会话的卸载，配置异常检测，加速基于流程的检查，并配置TCP SYN代理的SYN洪水检测。 让我
# 使用 Docker 实现 NPU 的指南
随着人工智能和机器学习应用的日益普及，使用 Docker 来管理和部署 NPU（神经处理单元）的环境显得尤为重要。本文将指导您完成如何配置和运行一个 NPU Docker 容器的过程。我们将覆盖整个流程，包含每一步所需的代码和详细解释。
## 流程概述
在开始之前，我们可以先概述一下整个流程，下面是所需的步骤：
| 步骤号 | 步骤描述
原创
2024-09-11 05:55:35
499阅读
悄然间，AI技术正在带来愈发清晰的时代变革。如今我们习惯了生活中的人脸识别和语音交互，知道了各行各业都能与AI结合，见证了所有科技公司都开始谈论和使用AI。然而这样一场大浪潮中，大部分人其实还是迷茫的：AI未来到底能发展到什么高度？为了理想中的高度，今天需要什么？AI给每一个人带来了何种机遇？这些问题来临时，大家更希望看到领军者在做什么，从而找到一条可以参考和借鉴的路。毫无疑问，在新的国际环境和技
前期准备工作已经完成，接下来我们就准备VINS在NX的落地。 1.下载源码编译 首先VINS_gpu版本需要引入OpenCV CUDA版本的加速，由于我们的NX镜像已经安装好CUDA，这里就不在赘叙，需要的自行google查找资料。下面开始安装VINS源码。 mkdir -p vins_gpu/src cd vins_gpu/src git clone https://github.com/pjr
关于 Docker 是什么，有个著名的隐喻：集装箱。但是它却起了个“码头工人”（ docker 的英文翻译）的名字。这无疑给使用者很多暗示：“快来用吧！用了 Docker ，就像世界出现了集装箱，这样你的业务就可以随意的、无拘无束的运行在任何地方（ Docker 公司的口号： Build ， Ship ， and Run Any App ， Anywhere ），于是码头工人就基本都可以下岗了。”
转载
2024-07-02 22:46:47
31阅读
在现代的计算机视觉和深度学习领域，使用 GPU（图形处理单元）和 NPU（神经处理单元）来加速模型训练和推理已经成为了非常普遍的需求。然而，在使用 Ollama 进行模型调用时，我们经常会遇到“ollama无法调用GPU和NPU”的问题。下面我将分享解决这一问题的过程，涵盖环境准备、集成步骤、配置详解、实战应用、排错指南和性能优化。
## 环境准备
首先，确保您的技术栈与 Ollama 和使用
YOLOv5 Windows环境下的C++部署（GPU） 文章目录YOLOv5 Windows环境下的C++部署（GPU）前言1、环境介绍2、环境配置3、.torchscript.pt版本模型导出4、c++中调用模型并进行推理5、可能遇到的问题参考： 前言最近在学习pytorch模型的c++部署，查阅网上资料时发现了很多优秀的博主写的详细的教程，但大部分是以前的版本，所以在此整理记录一下新版的yo
介绍Luigi是基于python语言的，可帮助建立复杂流式批处理任务管理系统。它主要提供了以下功能：任务依赖管理、工作流管理、任务可视化、错误故障处理机制、命令行交互等。Luigi的主要目的是为了解决需要长期运行的流式批处理任务的管理。你可以链接很多个任务，使它们自动化，并进行故障管理。上面所说的任务可以是任何类型的任务，通常来说有如下几种：Hadoop任务、从数据库导入或导出、机器学习算法训练等
谁又能说不是？ 市值两年上涨7倍，芯片供不应求，屡战英特尔，坚持怼谷歌，是当前AI大红大紫中的实力玩家，也是AI大潮中最闪亮耀眼的明星缩影。 创立24年来，从游戏芯片供应商，到AI芯片垄断者，英伟达俨然历史钦定。 不过，回溯英伟达的风云际会，历史进程纵然功不可没，个人奋斗更是不容忽视——没有濒临破产时的豪赌，没有在CUDA上百亿美元的押注，又怎会有如今风光无限的英伟达和黄教主。
# 如何在Docker容器中调用NPU
在当今的深度学习和人工智能领域，使用NPU（神经处理单元）来加速运算是非常普遍的需求。为了在Docker容器中使用NPU，我们需要遵循一系列的步骤。本文将详细介绍整个流程和每一步需要的代码。
## 流程概述
以下是实现Docker容器调用NPU的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装Docker及NPU驱动
文章目录简介GPU调度示意图数据结构组织图CS管理数据结构amdgpu_cs_chunkamdgpu_cs_parseramdgpu_ibGPU调度数据结构drm_sched_jobamdgpu_jobdrm_sched_entitydrm_sched_rqdrm_gpu_scheduler流程流程图整体流程保存渲染命令初始化job填充IB初始化entity提交任务内核线程初始化内核线程任务调度
转载
2024-03-31 12:22:47
437阅读
