超算平台国产DCU 运行 PyTorch 的经验分享
在当今大数据和人工智能的背景下，超算平台的计算能力对于模型的训练和推理至关重要。然而，当我们尝试在新一代国产 DCU（数据计算单元）上运行 PyTorch 时，却发现了一些问题。本文将详细记录解决“超算平台国产 DCU 运行 PyTorch”问题的过程，以及在此过程中获得的经验教训。
## 问题背景
随着国产硬件技术的快速发展，超算平台开
11月15日，第二届中国超级算力大会在北京举行。会上，2020中国高性能计算机性能排行榜TOP100揭晓。分别部署在国家超级计算无锡中心和广州中心的“神威·太湖之光”和“天河二号A”仍占据榜单前两位，Linpack测试性能分别为93.015PFlops(千万亿次每秒)和61.445PFlops。榜单的第3、4位则是新面孔。其中，排在第3位的是北京超级云计算中心(A分区),Linpack测试性能达3
转载
2023-12-27 22:04:30
3515阅读
文章目录1. 简介2. 概述2.1. 什么是GAN（生成对抗网络）2.2. 什么是DCGAN（深度卷积生成对抗网络）3. 输入4. 数据5. 实现5.1. 权重初始化5.2. 生成器5.3. 判别器5.4. 损失函数和优化器5.5. 训练5.5.1. 第一部分 - 训练判别器5.5.2. 第二部分 - 训练生成器6. 结果6.1. 损失随迭代次数的变化趋势图6.2. 可视化G的训练过程6.3.
国产DCU和英伟达GPU操作手册一、 DCU操作：1. 安装环境并测试1.1安装pytorch1.2查看是否能够调用到DCU2. 作业操作2.1 提交作业2.2查看作业2.3作业删除2.4实时查看输出3. 测试总结二、 GPU操作手册1. 安装环境并测试1.1安装pytorch1.2查看是否能够调用到GPU2. 作业操作2.1 提交作业2.2查看作业2.3作业删除2.4实时查看输出3. 测试总结
转载
2023-12-07 09:03:51
210阅读
目录1、首先安装Anaconda2、安装tensorflow-gpu2.1 安装cuda2.2 安装cudnn3. 安装tensorflow-gpu背景：因为我们学校有个超算系统，老师让我们把程序都放在上面跑。鉴于超算的GPU是Tesla V100 16GB，虽然老师只买了8块GPU的使用权，我还是不忍心用自己的电脑跑深度学习的程序。于是记录一下安装过程。操作系统是x86_64架构的64位Cent
转载
2024-01-25 19:44:22
756阅读
作者 | 刚峰出品 | 汽车电子与软件特斯拉超算中心拥有近2万张GPU，对自动驾驶训练效率产生立竿见影的效果，最大限度地提升了自动驾驶系统的开发效率。蔚来智能计算中心，将推理速度提高至6倍，并节省了24%的资源；模型开发效率提升了20倍，助力其缩短了自动驾驶汽车的上市周期。大陆集团的高算力集群，将开发周期从几周缩短至几个小时，使自动驾驶得以在中短期商业计划中落实；机器
转载
2024-05-31 13:19:17
27阅读
1、TensorFlow简介 1、用TensorFlow构造一个简单的线性拟合： 1 # -*- coding: UTF-8 -*-
2 # date:2018/6/14
3 # User:WangHong
4 import tensorflow as tf
5 import numpy as np
6
7 #使用Numpy生成假数据（phony data），为2维每维
转载
2024-08-19 22:12:59
90阅读
P与NP，从概念到研究全面综述 将几篇博文合在一起，构成了一篇全面综述NP问题的文章，既然是综述，不包含原创性贡献价值，故仅发表在国内一普通核心期刊上。可见，闲时写写博文也有一点收获。本文在此发布希望能与此方向上的研究者讨论。在此附上英国数学家关于NP问题的一段看法： 针对七大世界数学难题包括P与NP问题及其千禧年大奖，Warwick大学数学教授、英国著名数学通俗读物作家艾恩斯
转载
2024-08-01 12:42:37
47阅读
进入数字经济时代，算力正在成为一种新的生产力，为千行百业的数字化转型提供基础动力。而数据中心作为算力的物理承载，更是数字经济发展的关键基础设施。由中国信息通信研究院发布《数据中心白皮书（2022年）》显示，2021年全球数据中心市场规模超过679亿美元，较2020年增长9.8%。预计2022年市场收入达到746亿美元。出品 | 常言道作者 | 丁常彦在科幻电影《流浪地球2》中，
长久以来，超级计算机一直是各国竞相角逐的科技制高点，也是国家综合科技实力的体现，尤其是近几年，中国和美国在超算领域的竞争已经进入“白热化”。2020年，我国超级计算机在《全球超级计算机500强榜单》中首次超越美国，不管是从数量上还是算力上已经与美国成双足鼎立之势。作为“国之重器”，超级计算机在国家的科研工作中发挥着举足轻重的作用，尤其是万核以上的尖端应用领域，但是在面向中小规模海量运算的通用和商业
转载
2023-09-07 14:07:48
201阅读
目录1. 超算平台环境配置1.1 基础环境搭建1.2 使用conda安装torch库1.3 MMYOLO安装流程2. 通过vscode远程连接超算平台1. 超算平台环境配置该平台已部署多款应用软件以及软件开发运行环境，由于不同用户在该平台上可能需要使用不同的软件环境，配置不同的环境变量，软件之间可能会相互影响，因而在该平台安装了module工具用于统一管理应用软件。module工具主要用来帮助用户
转载
2024-05-23 14:35:59
89阅读
谢谢您的问题。阿里巴巴的飞天大数据平台其实已经发挥了关键的作用。与马云和王坚的坚持有关。当年阿里巴巴平台商家数量大幅增加，海量数据也随诞生，阿里巴巴需要一个数据平台支撑，开展数据存储和计算。阿里巴巴内部激烈讨论，决定不用开源数据计算框架Hadoop，自主研发飞天大数据平台，其本质就是包含上万台服务器的超级计算机，为行业提供公共服务。阿里云飞天大数据平台是全球规模最大的计算平台，能够支撑
转载
2023-12-23 07:25:24
60阅读
光模块的工作原理光模块（Optical Modules）作为光纤通信中的重要组成部分，是实现光信号传输过程中光电转换和电光转换功能的光电子器件。光模块工作在OSI模型的物理层，是光纤通信系统中的核心器件之一。它主要由光电子器件（光发射器、光接收器）、功能电路和光接口等部分组成，主要作用就是实现光纤通信中的光电转换和电光转换功能。光模块的工作原理如图 光模块工作原理图所示。发送接口输入一定码率的电信
大家好，我是丁小杰！ 我经常遇到各种五花八门的关于Python字典的操作，今天就在这个文章中展示一些常见操作的优化实现方式，如果你都已经掌握，那么恭喜你，你已经超越了90%以上的Python coder。通过序列生成字典我们将下面的序列转换为dict类型。lst = [('a', 1), ('b', 2), ('c', 3)]普通的写法for k, v in lst:
dic[k] = v
转载
2024-07-11 20:35:50
101阅读
为了更方便地为独立软件开发商(ISV: Independant Software Vendor)提供基于Sun的软硬件平台的移植、测试环境，Sun公司及与Sun合作伙伴共同合作的实验 室 将为软件开发商免费开放。
实验室有多台Sun Fire X86/X64和UltraSPARC服务器,几乎涵盖Sun公司各种档次的服务器，包括最新的Sun Fire X4200和S
随着5G网络扩建和国家经济水平的不断提升，我国对芯片行业的发展越来越重视，出台了相关政策法规鼓励企业发展芯片产业。因此，盘古开源加大投资芯片领域，与香港台积电科技有限公司合作，提升芯片研发能力，助力国产芯片的发展。青岛盘古开源电子科技发展有限公司是一家专业的芯片设计研发企业，专注于汽车芯片和AI智能芯片的研发，并提供整套芯片解决方案和技术支持服务。自盘古开源成立以来，公司持续深耕芯片领域，实现了关
# 超算平台架构解析
超算（超级计算机）是现代计算科学的基石，广泛应用于气候模拟、基因组研究、灾害预测等领域。超算平台的架构通常由多个层次组成，包括硬件层、资源管理层、应用层等。本文将深入探讨超算平台的架构，并通过代码示例帮助读者理解这个复杂系统的工作原理。
## 超算平台的主要组成部分
1. **硬件层**：由大量高性能计算节点（CPU、GPU及相关存储）构成。
2. **资源管理层**：
原创
2024-09-15 06:55:15
297阅读
今天我们讲讲云厂商的核心利益——如何挣钱。公开谈这类内容需要脱敏，我提及的推导过程和详细数字都以公网公开报价为准，不会涉及现在和过去工作单位的经营状况;因为只用常识推导不涉及具体技术，也给业内同行留足了用自身技术继续解释的空间。云计算产品繁多，IaaS层云产品是按资源池付费，要先看超卖比再看市场价，PaaS服务是按量付费，直接看成本和市场价的区别。IaaS云资源的超卖—— CPU、内存、硬盘和带宽
转载
2023-12-05 19:03:33
972阅读
# Python指定dcu运行实现步骤
## 概述
在Python开发中，dcu文件是由编译好的py文件生成的，它可以提高程序的执行效率。有时候，我们需要指定dcu文件来运行Python程序，以确保程序能够正确地使用编译好的代码。本文将介绍如何在Python中实现指定dcu运行。
## 步骤
下面是整个实现过程的步骤，我们将使用一个表格来展示这些步骤：
| 步骤 | 说明 |
| ---
原创
2023-07-31 09:00:33
345阅读
9月12日，阿里云弹性高性能计算平台E-HPC启动邀测。它可一键部署弹性伸缩的高性能计算集群环境，帮助科研院所和企业处理大规模科学计算问题，包含但不限于生命科学，气象预报，石油勘探，工业设计，流体力学，分子动力学等领域。E-HPC也是中国首个公共云上的HPC as a Service产品。过去，高性能计算用户为了获得HPC集群计算能力，需要花费大量人力物力财力在服务器购买、运维、软件开发和软件许可
转载
2023-12-22 21:40:46
77阅读
