0. 一些基本概念 计算机集群：高性能集群(High Performance Computing，简称HPC)
原创
2022-05-31 15:57:06
1523阅读
sge集群安装完成后，sge集群维护1、sge服务启动/停止/opt/sge/default/common/sgemaster start | stop | restart/opt/sge/default/common/sgeexecd start | stop | restart2、sge日志存放路径文件说明/opt/sge/default/spool/节点
原创
2023-12-06 17:32:31
198阅读
在当今的信息科技领域，自动化运维工具成为了越来越多企业和组织的首选。而在这些工具中，SGE和Ansible被广泛应用于各种场景中，为用户提供了高效便捷的解决方案。
SGE（Sun Grid Engine）是一款开源的高性能计算任务调度软件，它通过分配和管理计算资源，提高了计算效率，实现了各种任务的高效执行。SGE可以自动地管理计算资源，根据用户设定的策略进行任务的调度和分配，从而实现更加智能化的
原创
2024-02-23 09:42:56
100阅读
命令：
qsub - submit a batch job to Grid Engine.
qsh - submit an interactive X-windows session to Grid Engine.
qlogin - submit an interactive logi
转载
精选
2013-03-12 10:41:15
3580阅读
命令：qsub - submit a batch job to Grid Engine.qsh - submit an interactive X-windows session to Grid Engine.qlogin - submit an interactive login session to
原创
2016-04-28 10:50:16
1987阅读
网格计算和SGE从概念上讲，网格很简单。它是执行任务的计算资源的集合。对用户而言，它就是一个大系统，提供单个切入点，以访问强大而分散的资源。用户将网格视作单个计算资源SGE的工作原理Sun Grid Engine 软件为用户提供了向Sun Grid Engine 系统提交要求计算的任务的方法，以透明地分配相关的工作负荷。用户可以向Sun Grid Engine 系统提交批处理作业、交互式作业和并行
原创
2016-11-10 11:35:53
10000+阅读
SGE （sun grid engine大型集群作业调度系统）本章节主要介绍如何在ubuntu 22.04上部署安装SGE软件。1、环境信息：主机ip地址node01192.168.230.138node02192.168.230.133软件信息：软件名称版本ubuntu-server操作系统22.04SGE8.1.92、设置所有主机hosts文件vim /etc/hosts192.168.230
原创
2023-06-16 11:11:35
1498阅读
前段时间装了Slurm，用了一下感觉很爽，比起SGE各种复杂，Slurm简单明了，让人一目了然，给人化繁为简的清新感觉。下面先介绍一下slurm和SGE的前世今生。 SGE原名为CODINE/GRD, Sun公司2000年收购后改名为Sun Gride Engine，并于2001开源，这是Sun对开源界又一大贡献，可惜Sun太早死了，唉。。。随后SGE在Sun怀抱里茁壮成长，但不幸的是
原创
2014-10-12 00:38:28
9309阅读
点赞
1评论
网格计算和SGE从概念上讲，网格很简单。它是执行任务的计算资源的集合。对用户而言，它就是一个大系统，提供单个切入点，以访问强大而分散的资源。用户将网格视作单个计算资源SGE的工作原理Sun Grid Engine 软件为用户提供了向Sun Grid Engine 系统提交要求计算的任务的方法，以透明地分配相关的工作负荷。用户可以向Sun Grid Engine 系统提交批处理作业、交互式作业和并行
原创
2013-02-26 16:00:13
5730阅读
在Kubernetes(K8S)中使用sge(Simple Grid Engine)是一种常见的做法，sge是一种高效的工作负载管理系统，适用于集群环境。通过结合K8S和sge，我们可以更好地管理集群中的作业和任务。在本文中，我将向你介绍如何在K8S中使用sge，并为你提供代码示例来帮助你理解整个过程。
首先，让我们来看一下整个过程的步骤，如下表所示：
| 步骤 | 描述
原创
2024-03-15 11:24:57
164阅读
wekownbehostserrorprofitresolvemethodchangedns：edit：vim/etc/hosts127.0.0.1caleb#127.0.0.1localhost.localdomainlocalhost129.67.46.255caleb
原创
2020-09-27 16:35:20
1638阅读
主要有三部分： 安装：服务器端搭建，一般服务端只需要搭一次 配置：服务端和节点，后续主要是新增节点才需配置 使用：一般使用者可以忽略前两个，直接看使用说明 安装
server服务端需要一下配置：
apt-get update
adduser gsadmin --uid 500 #pass cool
wget http://downloads.sou
转载
2024-05-24 10:11:07
0阅读
查看版本qstat -help 2>&1 | head -1 | cut -f 2 -d " "执行主机执行主机是有权执行 Sun Grid Engine 作业的节点。 因此，该主机上有 Sun GridEngine 队列，并运行 Sun Grid Engine 执行守护程序 sge_execd。qconf -sel 显示所有执行服务器的列表qconf -ae
SGE qsub 命令 选项 笔记
jianshan.hu@swift.cn ChongQing, China
SGE qsub 命令 选项 笔记jianshan.hu@swift.cn ChongQing, Chinaqsubqsub命令用来向SGE提交批处理作业，SGE支持单或多节点作业。qsub [ options ] [ command | -
转载
2024-02-13 12:59:29
86阅读
安装SGE（Sun Grid Engine）需要以下步骤：安装依赖：在安装SGE之前，确保你的系统已经安装了一些必要的依赖软件包和工具，如 gcc、make、openjdk等。可以使用以下命令来安装：sudo apt update
sudo apt install build-essential openjdk-11-jre下载SGE软件包：访问SGE官方网站（https://arc.l
原创
2024-08-30 01:00:47
148阅读
在线上部署python应用，有两个难题，一是不同的应用依赖的环境不同，比如python版本，依赖包/模块/库的版本；二是要安装的服务器太多的话从pypi下载速度慢，并且容易失败。本文介绍我在工作中是如何解决这两个问题的，向大家分享批量安装python应用的一些经验。注：以下操作的前提是保证测试环境和线上环境的操作系统相同。将python应用制作成包一个典型的python应用的目录结构如下：» tr
转载
2023-10-09 22:01:43
58阅读
除了自己写代码，当然可以利用Hortonworks Data Platform (HDP) 的 Ambari 等组件完成。以下python代码提供另一种实现思路： 监控每台节点JVM的指标要包括：JVM内存使用情况、 线程数、 垃圾回收时间频率和对象数量、类加载情况， cpu使用率和负载均衡、 文件描述符使用情况、 网络IO、磁盘io、 JVM运行状态。1.代码1(python: jpype +
转载
2023-10-20 09:50:30
34阅读
1.安装pip install redis-py-cluster示例：1 from rediscluster import *
2 if __name__ == '__main__':
3 try:
4 # 构建所有的节点，Redis会使⽤CRC16算法，将键和值写到某个节点上
5 startup_nodes = [
6 {'host':
转载
2023-06-12 21:24:59
69阅读
分布式爬虫概览何谓分布式爬虫？通俗的讲，分布式爬虫就是多台机器多个 spider 对多个 url 的同时处理问题，分布式的方式可以极大提高程序的抓取效率。构建分布式爬虫通畅需要考虑的问题（1）如何能保证多台机器同时抓取同一个URL？（2）如果某个节点挂掉，会不会影响其它节点，任务如何继续？（3）既然是分布式，如何保证架构的可伸缩性和可扩展性？不同优先级的抓取任务如何进行资源分配和调度？基于上述问题
转载
2024-08-28 22:09:55
22阅读
由于GIL的存在，python中的多线程其实并不是真正意义上的多线程，前面一篇文章Python中的多线程与多进程那些事中提到I/O密集型使用多线程并发执行提高效率、计算密集型使用多进程并行执行提高效率。针对计算密集型的任务，我们如何通过多进程提高效率？Window下的multiprocessing分布式计算基于multiprocessing、queue等模块实现简易的分布式计算框架。服务节点负责任
转载
2023-12-23 22:03:39
64阅读
