node: 代表物理节点，即电脑台数，一台电脑可以有多个GPUnnodes：物理节点数，就是电脑数量node_rank：物理节点的序号，每个电脑的序号nproc_per_node：每个物理节点上面进程的数量，等价于每个电脑上GPU的数量，就是可以开几个进程。group：进程组。默认只有一个组rank & local_rank: 在整个分布式中的序号，每个进程都有一个rank和一个
转载
2024-08-10 11:46:22
183阅读
目录1. 提取指定属性的值2. 根据属性值查找并读取32位整形数组3. 根据属性值查找并读取字符串4. 提取默认属性#address-cells和#size-cells的值5. 通过路径查找节点6. 通过节点名属性查找节点7. 通过设备类型查找节点8. 提取I/O口地址9. 设备树中提取I/O口地址转换为物理地址;10. 提取I/O口地址并映射成虚拟地址11. 从设备树中提取资源查找办法:通过节点
转载
2024-04-21 20:49:52
117阅读
本套方案是在linux单主机上部署多个solr节点，最终达到solrCloud的效果。先展示下solrCloud单机部署的效果：在solrCloud上已经创建了两个collection。接下来就说说这个部署过程：首先创建一个solrcloud目录，用于存放solrCloud所有相关的软件和配置。1.下载安装zookeeper按理来说需要多节点部署zookeeper，由于这个工作比较简单，需要的可以
转载
2024-05-18 07:57:42
150阅读
上次我们讨论了边缘计算，并用无人零售和边缘计算的例子，说明了边缘计算的便利性。但是边缘计算，也有很多限制。硬件资源限制边缘设备通常具有有限的计算、存储和网络资源。这种资源限制使得在处理大量数据或执行复杂任务时，边缘设备可能无法提供与云数据中心相当的性能。硬件更新换代的成本和时间也是限制因素。随着技术的不断进步，边缘设备需要定期更新以维持其性能，但这可能涉及大量的资本支出和运营中断。网络带宽与延迟：
1.命令简介ipcs 命令用于查看 Linux 进程间通信设施的状态，包括消息列表、共享内存和信号量的信息。可以帮助开发人员定位进程间通信中出现的问题。注意，本文描述的是 util-linux 版 ipcs，和其它版本(如 POSIX 版)的实现可能会有出入。2.命令格式ipcs[resource-option][output-format]ipcs[resource-option]-iid3.命
云计算、虚拟化技术、GPU虚拟化技术 云计算其实很早就提出来了，印象中最早是Google 2006年就提出来了，而如今“云计算”已经被大家听得耳朵都出茧子了，至今非计算机行业的人员对“云计算”认识的还是不够充分，再次继续普及下云计算的概念，引用百度百科中“云计算”概念美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付
转载
2024-08-01 06:37:09
80阅读
先决条件在本教程中我们将使用到一个轻量级的模拟器，请使用以下命令来安装： $ sudo apt-get install ros-<distro>-ros-tutorials 用你使用的ROS发行版本名称(例如electric、fuerte、groovy、hydro等)替换掉'<distro>'。
图概念概述Nodes:节点,一个节点即为一个可执
ssh与gpg区别 我们许多人都熟悉Secure Shell（SSH），它使我们可以使用密钥而不是密码连接到其他系统。 本指南将说明如何消除SSH密钥并改用GNU Privacy Guard（GPG）子密钥。 使用GPG不会使SSH连接更安全。 SSH是安全协议，SSH密钥是安全的。 相反，它使某些形式的密钥分发和备份管理更加容易。 它还不会更改使用SSH的工作流程。 所有命令将继续按您期望的方
一、nova简介：行虚拟机创建，通过libvirt调用kvm创建虚拟机，nova之间通信通过rabbitMQ队列进行通信，起组件和功能如下：1.1：nova API的功能,nova API：1.2：nova schedulernova scheduler模块在openstack中的作用是决策虚拟机创建在哪个主机（计算节点）上。决策一个虚拟机应该调度到某物理节点，需要分为两个步骤：过滤（filter
转载
2024-10-21 18:07:04
46阅读
1. 介绍 现如今，随工业智能化水平提高，单机器人已难以满足大规模任务的需要，因此多机协同控制方法应运而生，并逐渐应用于无人车、无人机的集群以及物流配送等诸多领域。 要想实现多机协同控制，首要任务是实现多机通信，而ROS操作系统为我们提供了多机通信的优良环境，使得我们可以在分布式的ROS节点间进行通信。下面引入ROS通信的相关基础知识：1.1 ROS节点：可以分布于多个相同或不同的主机中1.
转载
2024-09-29 21:44:07
94阅读
单播、多播和广播单播”（Unicast）、“多播”（Multicast）和“广播”（Broadcast）这三个术语都是用来描述网络节点之间通讯方式的术语1.单播：网络节点之间的通信就好像是人们之间的对话一样。如果一个人对另外一个人说话，那么用网络技术的术语来描述就是“单播”，此时信息的接收和传递只在两个节点之间进行。单播在网络中得到了广泛的应用，网络上绝大部分的数据都是以单播的形式传输的，只是一般
Motivation之前从来没有用过集群，跑代码都是用单独的服务器，第一次上手组里的集群懵逼了一天。中文的博客大部分都写的很一般，有些我想知道的问题也找不到答案。所以就想着，自己一遍学习一边记录一下，做成一个入门的介绍，方便自己和其他新入门的朋友查看。查看节点状态sinfo输出参数的含义PARRITION：节点所在分区
AVAIL：分区状态，up 标识可用，down 标识不可用
TIMELIMIT
转载
2024-05-29 07:08:30
1223阅读
网卡的驱动很简单，就是填充net_device结构体，其应用层到网络协议层内核已经完成了，我们的工作就是填写这个net_device，然后注册就可以了。修正一下：上面第三步应该是：register_netdev下面代码实现一个虚拟网卡，这里没有实际的网卡，只是把发出去的数据模拟远程回复过来，把数据转发到接收缓存里面，也就是回环操作。/*
* 参考 drivers\net\cs89x0.c
*/
#
提到防止页面卡顿，大家首先想到的会是页面层级嵌套过多导致过度绘制。那么达到什么程度页面才算过度绘制呢？绘制限制手机屏幕由很多像素点组成，通过变换每个像素点的颜色，形成各种各样的图像。GPU控制的一块缓冲区中，这块缓冲区叫做Frame Buffer（也就是帧缓冲区）。可以简单理解成一个二维数组，数组中的每一个元素对应着手机屏幕上的一个像素点，元素的值代表着屏幕上对应的像素点要显示的颜色。优化屏幕画面
转载
2024-04-29 19:20:48
384阅读
FPGA的用处比我们平时想象的用处更广泛，原因在于其中集成的模块种类更多，而不仅仅是原来的简单逻辑单元查找表（LUT）。而且还有一些其他资源，例如：DSP:实际上就是乘加器，FPGA内部可以集成多个乘加器，而一般的DSP芯片往往每个core只有一个。换言之，FPGA可以更容易实现多个DSP core功能。在某些需要大量乘加计算的场合，往往多个乘加器并行工作的速度可以远远超过一个高速乘加器。SERD
转载
2024-06-03 22:28:37
240阅读
Lenovo Vantage后台占用CPU - 解决方案问题方案1：禁用服务方案2：卸载Vantage 问题Lenovo Vantage是联想官方为联想电脑设计的国际版的电脑管家，在其中可以设置Fn键功能、设置USB供电、设置充电模式、设置充电阈值，非常实用，但它会经常在后台占用CPU等资源。本文介绍2种方案解决该问题。方案1是将Vantage服务禁用开机自启，需要使用Lenovo Vantag
中南大学超算深度学习环境配置说明平台简介配置0.配置conda初始环境1. 申请并切换gpu节点2. 安装cuda10.13. 安装cudnn4.环境变量修改5.安装pytorch 1.7.1超算下环境复制安装tensorflow1.XSlurm指令参考 说明原HPC的cuda为10.0版本，因此最新只能装torch1.4，但需要使用更高版本的torch，因此只能尝试更新cuda版本来安装高版本
Datanode中读取数据块的两种方式1.普通方式 Datanode读取数据块的普通方式在操作系统层面有四步： (1)Datanode首先将数据块从磁盘存储读入操作系统的内核缓冲区 (2)在将数据跨内核推到Datanode进程 (3)然后Datanode会再次跨内核将数据推回内核中的套接字缓冲区 (4)最后将数据写入网卡缓冲区 显然，上面的步骤(2)和步骤(3)进行了两次多余的数据拷贝操作，此
最近需要在服务器上配置tensorflow-gpu的环境来运行深度学习模型，以前在Windows上配置过，也知道一些注意点，这次在Linux下配置，也遇到了很多坑，下面总结一下配置过程，配置是使用Linux下安装的anaconda来进行的。激活虚拟环境 我在服务器上安装了anaconda，并且创建了一个python3.6的虚拟环境，命名为tensorflow，在该环境下进行各种库的安装以及环境配置
转载
2024-06-12 22:02:26
77阅读
使用多GPU有助于提升训练速度和调参效率。
本文主要对tensorflow的示例代码进行注释解析：cifar10_multi_gpu_train.py1080Ti下加速效果如下（batch=128）单卡：
两个GPU比单个GPU加速了近一倍 ：1.简介多GPU训练分为：数据并行和模型并行单机多卡和多机多卡2.示例代码解读官方示例代码给出了使用多个GPU计算的流程：CPU 做为参数服务器多个GPU计
转载
2024-02-23 13:52:41
118阅读
