(一)mxnet 的核心接口接口功效Context指定运行设备NDArraypython与C++交互数据对象DataIter为训练提供batch数据Symbol定义网络LR Scheduler定义学习率衰减策略Optimizer优化器Executor图的前向计算与反向梯度推导Metric查看模型训练过程指标Callback回调函数KVStore跨设备的键值储存ModuleALL in one 将
转载
2024-04-27 07:44:08
137阅读
GPU segmentsGPU 通过DDI访问物理内存的过程被抽象成了段模型Segmentation model(PS: Segment都是从GPU怎么访问物理内存的角度来进行讨论的)。KMD通过给出一系列的Segment给GPU，以便GPU能够通过Segment使用对应的物理内存资源。Segment受到VMM的管理。WDDM v2一共有三种段类型：内存段 Memory Segment一个内存段代
文章目录是不是只能用官方推荐的高端显卡？如何启用非官方推荐显卡？怎样判断显卡是不是加速计算了？GPU加速只能使用显卡5%，有提高使用率的办法吗？ 折腾了一天GPU加速CST计算，发现网上很多资料不太靠谱，在这里把自己走过的弯路记载一下。是不是只能用官方推荐的高端显卡？答案是可以用一般显卡。英伟达的GeForce系列同样可以用。比如RTX3090,3080,2060等。 看网上很多资料说只能用官方
转载
2024-08-30 16:57:00
249阅读
好长时间不来更新博客了，口译，考核一直缠身，实在是懒得写文章。
最近在搞驱动方面的编程，看了点，其实我倒是对WRK更情有独钟。
今天无意间看到微软的开源OS，这可是新闻啊。
About SingularitySingularity is a research project focused on the construction of dependable systems t
原创
2008-11-25 18:58:50
991阅读
"""参考文档 https://apptainer.org/user-docs/master/build_a_container.html """ # 通过文件构建容器，相当于docker的Dockerfile ## 创建一个Singularity文件 >>> vim Singularity Boo
原创
2022-06-17 06:54:59
206阅读
我们过去曾就 containerd 的不同特点、它是如何设计的、以及我们在此过程中所解决的一些问题进行过几次讨论。Containerd 已经被 Docker、Kubernetes CRI 和其他一些项目所使用。今天这篇文章，意在帮助读者理解 Containerd 实际上如何在这些平台上使用。将来我会写更多文章来介绍 containerd 的各种功能以及设计理念。不过，现在让我们先从一些基础知识开始
转载
2024-03-07 14:29:41
39阅读
因为LZ是使用GPU服务器跑TensorFlow，而TensorFlow默认的是占用所有GPU，于是为了不影响其他同学使用GPU，于是就试验和总结了一下TensorFlow指定GPU的方法。。环境系统：Ubuntu14.04TensorFlow：v1.3GPU 8个GTX1080，第一列的0~7的数是GPU的序号一.设置指定GPU1.一劳永逸的方法，直接在~/.bashrc中设置环境变量 CUD
转载
2024-05-07 13:13:33
811阅读
后面的不用看了，直接看最省事版本： 直接用CUDA_VISIBLE_DEVICES="2,3"指定多卡就可以，也可以给sh文件传参进去。但是，切记！切记！切记！sh文件里不能有空行，尤其是使用反斜杠 \ 连接多行的时候，
转载
2024-03-24 08:52:37
916阅读
今天在阿里云上申请了一个深度学习服务器，碰到了很多坑，在网上查了好多资料，大都是自己电脑可以别的电脑就不可以的那种，整合了多个博客的文章才把环境配置好，现在写一个完整的配置方案，以后用起来就方便多了，也供大家参考。一、首先安装nvidia驱动：***在官网上查找符合自己gpu的驱动：http://www.nvidia.com/Download/index.aspx，选择合适的版本下载。 更新系统源
转载
2024-05-01 11:33:01
210阅读
1、目前主流方法：.to(device)方法 （推荐）import torch
import time
#1.通常用法
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
data = data.to(device)
model = model.to(device)
'''
1.先创建device
转载
2023-08-31 10:09:45
4606阅读
# 使用PyTorch创建Singularity容器
## 1. 简介
在本文中，我们将学习如何使用PyTorch创建Singularity容器。Singularity是一种用于创建和管理容器的工具，它允许我们在不同的计算环境中有效地运行我们的应用程序。PyTorch是一个流行的深度学习框架，用于构建神经网络模型。
在本文中，我们将按照以下步骤来创建Singularity容器：
1. 确保
原创
2023-08-18 15:19:53
92阅读
Windos和linux文件共享方法（这是VMware Tools不起作用可以用的方法，如果你的VMware Tools是好用的话，那么应该在cd /mnt文件夹下有一个hgfs文件夹，那里应该有你要和WINDOWS共享的文件，前提是你要设定一个WINDOWS下的磁盘的某一个文件夹为共享属性，如E:/share文件夹为共享，则在虚拟机-－>设置－－>选项－－>里边有个设置共享的选
持续监控GPU使用情况命令：$ watch -n 10 nvidia-smi 一、指定使用某个显卡 如果机器中有多块GPU，tensorflow会默认吃掉所有能用的显存， 如果实验室多人公用一台服务器，希望指定使用特定某块GPU。 可以在文件开头加入如下代码：import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ[
转载
2024-07-22 17:08:16
209阅读
Singularity容器技术在功能上类似于Docker，使用上与Docker略有不同。Docker用户可以轻松上手使用。由于Docker 在安全、权限、高速网络支持、MPI并行支持等各方面天生且无法修补的缺陷，导致 Docker 在超算上不适合使用，为了适应超算特有的平台环境，出现了一些专门为超算环境开发的容器软件，在目前适合于超算的容器软件里，Singularity 的兼容性最好，对超算特性支持最完整，运行性能也是最好的。用户可以访问Singularity 官方用户文档了解详细使用方法。
目录环境依赖golang安装Singularity安装常用命令环境依赖sudo yum update -y && \
yum groupinstall -y 'Development Tools' && \
yum install -y \
openssl-devel \
libuuid-devel \
libseccomp-devel \
原创
2023-05-20 08:51:11
275阅读
# Kubernetes 是否支持 Singularity
作为一名经验丰富的开发者，我将教会你如何判断 Kubernetes 是否支持 Singularity。下面是整个流程的步骤概述：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装 Kubernetes |
| 2 | 安装 Singularity |
| 3 | 配置 Kubernetes |
| 4 | 部署 S
原创
2023-07-14 08:33:56
326阅读
# Singularity 转换为 Docker 的完整指南
在高性能计算（HPC）和科学计算领域，Singularity 是一个非常流行的容器平台。而 Docker 则是更广泛应用于各种开发和生产环境的容器工具。如果你需要将 Singularity 容器转换为 Docker 映像，这里将提供一个详细的步骤指南。
## 流程概述
下面是将 Singularity 转换为 Docker 的基本
原创
2024-10-11 04:42:21
710阅读
目录1. 命令讲解2. 高效使用大家使用的服务器中有多个GPU，而这个大服务器又在被很多人使用，比如你的课题组的同学。为了资源合理分配，不占用别人正在使用的GPU，我们可以指定自己要使用的GPU组（也就是在你的代码中使用的某一个或某几个GPU），这样就很有效的避免了GPU的资源占用，实现资源的最大化，也不用因为占用特别大的GPU被课题组的“拉黑举报”了！HHH~~~选择特定的GPU组运行程序可在程
转载
2024-03-28 13:40:07
438阅读
使用 GPUs支持的设备在一套标准的系统上通常有多个计算设备. TensorFlow 支持 CPU 和 GPU 这两种设备. 我们用指定字符串 strings来标识这些设备. 比如:
"/cpu:0": 机器中的 CPU
"/gpu:0": 机器中的 GPU, 如果你有一个的话.
"/gpu:1": 机器中的第二个 GPU, 以此类推...如果一个 TensorFlow 的 operat
转载
2024-08-07 18:22:18
97阅读
实现mypwd1.学习pwd命令1：查看pwd命令的帮助信息man pwd2:显示当前目录所在路径 pwd3:显示当前目录的物理路径 pwd –P4:显示当前目录的连接路径：pwd -L什么是pwd?‘pwd‘ 代表的是‘Print Working Directory’（打印当前目录）。如它的名字那样，‘pwd’会打印出当前工作目录，或简单的来说就是当前用户所位于的目录。它会打印出以根目录 (/)
