一、使用公共镜像docker有一个开源的镜像管理系统，上面有很多常见的images，如mysql，nginx，tomcat等，可以直接根据自己的需求下载下来用，还有系统images，如redhat，ubuntu，unix，windows等先下载一个mysql来玩玩：1、查询跟mysql有关的镜像：#docker search mysql这里我们使用第一个mysql镜像，镜像是可以指定版本来下载的：
转载
2024-10-17 21:46:21
248阅读
关于 Docker 的命令可参考：学习 Docker 的常用命令一篇文章就够了注意docker的应用部署，一定要注意端口的映射，特别是 jdk 容器 具体可见： 文章目录一、Docker 部署 Mysql二、Docker 部署 Tomcat三、Docker 部署 Nginx四、Docker 部署 Redis 一、Docker 部署 Mysql（1）拉取mysql镜像：docker pull cen
转载
2024-07-01 10:57:45
170阅读
Slurm配置文件配置文件示例slurm.conf是Slurm的核心配置文件，它描述了一般的Slurm 配置信息、要管理的节点、有关 如何将这些节点分组到分区中，以及各种调度 与这些分区关联的参数。该配置文件在群集中的所有节点上保持一致。如果修改了slurm.conf相关配置文件，诸如slurmctld端口等，需要使用scontrol reconfigure重新配置。（注意：slurm.conf是
转载
2024-04-04 12:11:06
1378阅读
1.相关基本概念资源（Resource）作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）；集群（Cluster）包含计算、存储、网络等各种资源实体且彼此联系的资源集合；在物理上，一般由计算处理、互联通信、I/O 存储、操作系统、编译器、运行环境、开发工具等多个软硬件子系统组成；节点是集群的基本组成单位，从角色上一般可以划分为管理
（1）拉取一个新的centos镜像docker pull centos:7.2（2）运行一个容器，准备安装必要的环境docker run --privileged -p 8888:6817 -p 8889:6818 --dns 8.8.8.8 --dns 8.8.4.4 -h controler --name slurm_control -i -t -v /containe
转载
2023-08-31 22:24:39
111阅读
Docker安装步骤# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/
转载
2024-05-08 11:31:11
91阅读
基于 Docker 的 Slurm 作业管理系统阿里云服务器设置参考视频：https://www.bilibili.com/video/BV177411K7bHStep 1 -申请阿里云服务器可以免费申请一个月的阿里云主机，我这里申请了一个月的1核2G的云服务器，带宽4M系统盘40G，安装的系统是 CentOS 8.4 64位版本。Step 2 - 修改实例进入云服务器 ECS 后 点击正在运行中
转载
2023-07-17 11:04:58
118阅读
名词解析容器 容器的实质是进程，但与直接在宿主执行的进程不同，容器进程运行于属于自己的独立的命名空间。因此容器可以拥有自己的root 文件系统、自己的网络配置、自己的进程空间，甚至自己的用户ID 空间。容器内的进程是运行在一个隔离的环境里。镜像(Image) 封装了应用程序及其依赖的“包”。仓库(Repository) 就好像软件包上传下载站，是存放镜像的地方。Linux安装启动命令sudo ap
转载
2023-08-04 23:39:58
141阅读
整个流程：工程修改后push到gitlab >> gitlab通过webhook通知jenkins工程有改变 >>jenkins到gitlab取最新工程 >> jenkins完成容器构建 docker images >> push到docker hub >> 让单台或多台服务器同时拉下这个镜像并运行还可以使用完整的如下CI, C
转载
2024-07-03 09:48:49
150阅读
1.Docker的安装1.安装依赖包sudo yum install -y yum-utils device-mapper-persistent-data lvm22.设置阿里云镜像源sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3.安装 Dock
转载
2024-06-18 21:19:27
37阅读
一、安装Docker官方安装文档：https://docs.docker.com/engine/install/centos/参考官方文档的简化安装过程：步骤1：卸载（保证系统中不包含docker）sudo yum remove docker \
docker-client \
docker-client-latest \
转载
2023-10-18 21:58:05
56阅读
一、环境与说明Linux 系统：Suse11（SLES-11-SP3-DVD-x86_64-GM-DVD1）Redis 安装包：redis-4.0.11.tar.gz二、Cluster集群说明 Redis 的集群方案有三种：主从复制，哨兵模式和集群。在 redis3.0 及之后的版本中加入 Cluster 集群方式，实现了 Redis 的分布式存储，
前言在深度学习中，要使用大量GPU进行计算。 而GPU往往价格不菲，随着模型变得越复杂，数据量积累，进行深度学习计算需要耗费极大的经济和时间成本。解决方案阿里云容器服务提供的深度学习解决方案，基于Kubernetes为核心，支持cluster-autoscaler 进行节点弹性扩缩容。除了CPU，Memory 等基础指标外，还可以以GPU资源维度进行节点弹性扩缩容。在深度学习常场景里，我们可以实现
转载
2024-04-24 13:06:17
446阅读
# Docker Ubuntu Slurm集群搭建
## 简介
Slurm是一个开源的用于高性能计算集群管理和作业调度的软件。本文将介绍如何使用Docker和Ubuntu来搭建一个Slurm集群，并提供一些代码示例供参考。
## 准备工作
在开始之前，我们需要安装Docker和Ubuntu。请根据官方文档下载和安装这两个软件。
## 架构设计
我们的Slurm集群将由一个控制节点和多个
原创
2023-08-24 05:03:41
1556阅读
常见操作指令：1. docker容器操作指令
1.1 获取镜像(ubuntu为例)
docker pull ubuntu
1.2 启动容器
docker run -it ubuntu /bin/bash
-i:交互式操作;
-t：终端;
ubuntu:ubuntu镜像；
转载
2023-10-09 13:26:25
108阅读
查看作业状态 查看当前用户的作业状态，可以使用如下命令： squeue 例如： JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 33762 normal nstest1 wangwu R 0:03 2 h05r4n[15-16] 参数 ...
转载
2021-08-25 12:15:00
343阅读
SLURM (Simple Linux Utility for Resouce Management)非常成熟的开源社区集群批处理调度系统。介绍2008年左右起源于LLNL实验室, 最新版本20.11开源软件(约50万行c源码)，开发和发布一直活跃用户群: Top10里有5家使用(天河HPC是其一)商业公司SchedMD提供顾问咨询服务完善的插件为用户提供较便利的扩展功能特点:结构清晰、功能丰富、
转载
2024-08-13 15:29:47
276阅读
Motivation之前从来没有用过集群，跑代码都是用单独的服务器，第一次上手组里的集群懵逼了一天。中文的博客大部分都写的很一般，有些我想知道的问题也找不到答案。所以就想着，自己一遍学习一边记录一下，做成一个入门的介绍，方便自己和其他新入门的朋友查看。查看节点状态sinfo输出参数的含义PARRITION：节点所在分区
AVAIL：分区状态，up 标识可用，down 标识不可用
TIMELIMIT
转载
2024-05-29 07:08:30
1220阅读
第二十八课 Linux集群架构（一）目录一、 集群介绍
二、 keepalived介绍
三、 用keepalived配置高可用集群
四、 负载均衡集群介绍
五、 LVS介绍
六、 LVS调度算法
七、 LVS NAT模式搭建一、 集群介绍集群听起来好像是一个很高大上的技术,其实不是的,集群其实就是一堆计算机的集合,给用户提供同一个服务的一组计算机,就称之为集群,对于用户而言好像就是一台计算机提供的
转载
2024-04-22 06:09:53
136阅读
slurm0.Pytorch环境问题1.slurm作业管理系统2.sinfo查看系统资源3.squeue查看作业状态4.srun交互式提交作业5.sbatch后台提交作业6.salloc分配模式作业提交7.scancel取消已提交的作业8.scontrol查看正在运行的作业信息9.sacct查看历史作业信息10.xxx.slurm作业模版11.关于联网12.Linux 常用命令13.官网手册14
转载
2024-01-12 11:33:49
379阅读
