背景小编在刚开始学习Python时，是在Python官网下载的原生版本，用的是自带的编码环境，后来了解到在数据分析、数据科学领域用Jupyter notebook比较好，于是直到现在也是一直在用Jupyter notebook，也偶尔用PyCharm做开发。在数据分析与处理中Jupyter notebook还是很方便，可以直接查看数据，可以写文档，可以画图 等很多优点，感觉Jupyter note
今天在阿里云上申请了一个深度学习服务器，碰到了很多坑，在网上查了好多资料，大都是自己电脑可以别的电脑就不可以的那种，整合了多个博客的文章才把环境配置好，现在写一个完整的配置方案，以后用起来就方便多了，也供大家参考。一、首先安装nvidia驱动：***在官网上查找符合自己gpu的驱动：http://www.nvidia.com/Download/index.aspx，选择合适的版本下载。 更新系统源
转载
2024-05-01 11:33:01
210阅读
我认为最好的方法就是screen命令。在大家对man手册不感冒的情况下，我先来说说这个命令的用法。介绍一下用screen命令实现一个终端登录后，可以使用多个屏幕进行工作的。众所周知，我们登录系统的控制台后，控制台上有多个虚拟终端，可以通过Alt＋F1。。。F6来进行多屏幕切换作业。但是我们如果通过ssh登录到系统后，如何在一个终端下用多个屏幕工作，以提高工作效率呢。screen命令可以
的一 前言最近写了个又臭又长的代码来验证idea，效果还行但速度太慢，原因是代码中包含了一个很耗时的模块，这个模块需要连续执行百次以上才能得到最终结果，经过实测模块每次执行消耗约20ms，而且两次执行之间没有先后关系，为了保证系统的实时性，我决定将这一部分运算放在GPU上执行。二 环境配置（dirver CUDA + runtime CUDA）要想使用GPU加速计算，首先需要一块性能还可以的Nvi
转载
2024-04-17 15:19:00
139阅读
1、目前主流方法：.to(device)方法 （推荐）import torch
import time
#1.通常用法
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
data = data.to(device)
model = model.to(device)
'''
1.先创建device
转载
2023-08-31 10:09:45
4606阅读
在服务器里利用anaconda科学利用GPU以及管理代码一 使用conda产生虚拟环境1 首先在服务器里下载安装anacodna2 .创建python虚拟环境3 使用激活(或切换不同python版本)的虚拟环境4 对虚拟环境中安装额外的包5 关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)6 删除虚拟环境。7 删除环境中的某个包二 使用pycharm连接服务器中的虚拟
转载
2024-08-07 15:39:03
76阅读
利用Google Colaboratory运行本地深度学习代码前提条件一、创建Colaboratory二、连接GPU云服务器查看GPU型号三、将本地项目压缩包上传到谷歌云盘并解压3.1上传3.2 解压绑定GoogleDrive开始解压 最近学习使用了Google免费的GPU云服务器用于训练GitHub上的一个深度学习项目，下面记录一下环境配置过程 前提条件拥有谷歌账号，并注册谷歌云盘（注册登录
转载
2024-04-18 16:32:56
130阅读
问题描述在使用服务器多核跑程序的时候，需要把核心的程序抽取出来，然后提供迭代参数。然后就可以使用多核去跑程序了。但是在执行的过程中报错如下：Exception has occurred: TypeError unhashable type: 'list'File "/home/LIST_2080Ti/njh/CHB-MIT-DATA/epilepsy_eeg_classification/prep
GPU在视频转码中的应用研究进展已有的视频转码软件目前，市场上已经出现了几款优秀的利用GPU进行辅助视频转码的软件，典型的代表包括nVidia的Badaboom，AMD的ATIAvivo，Cyberlink的MediaShow和免费软件MediaCoder。其中，前三者均为商业软件，只有MediaCoder是免费软件。MediaCoder在2008年仍是基于GPL协议的开源软件，后来作者封闭了源代
转载
2024-08-25 16:50:02
56阅读
1 前言原料：我有两台电脑，一台是Win10系统的小米笔记本12.5（简称为A电脑），一台是Ubuntu系统的小米游戏本（简称为B电脑）。A电脑没有GPU，没有配置任何深度学习环境；而B电脑的GPU是GTX 1060，配置好了深度学习环境，已经能用CUDA跑代码了。A电脑和B电脑使用的IDE都是VS Code。需求：代码调试：因为B电脑有GPU，我希望能够用A电脑调试B电脑的代码。场景1（远程调试
转载
2024-03-27 10:20:35
311阅读
深度学习怎么跑代码？从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大的计算量，以至于CPU算不过来，需要通过GPU帮忙，今天怎么教大家免费使用GPU跑深度学习代码。深度学习怎么跑代码？Colabortory是一个jupyter notebook环境，它支持python2和python3，还包括TPU和GPU加速，该软件与Google云盘硬盘集成，用户可以轻松共享项目或将
转载
2024-05-09 15:42:24
101阅读
目录一、keras代码GPU配置二、tensorflow代码GPU配置三、给算子指定GPU或CPU 当设置的GPU号大于实际的GPU个数时（比如实际只有一个GPU，配置中设置成使用1号GPU），创建会话会失败，提示tensorflow.python.framework.errors_impl.InternalError: Failed to create session.一、keras代
转载
2024-03-21 14:56:31
164阅读
作者：凌逆战从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大(重要的事情说三遍)的计算量，以至于CPU算不过来，需要通过GPU帮忙，但这必不意味着CPU的性能没GPU强，CPU是那种综合性的，GPU是专门用来做图像渲染的，这我们大家都知道，做图像矩阵的计算GPU更加在行，应该我们一般把深度学习程序让GPU来计算，事实也证明GPU的计算速度比CPU块，但是(但是前面的话都
转载
2024-03-08 08:59:47
118阅读
基本命令（linux/shell）基本操作连接服务器查看GPU状态进程管理一键导出环境 / 配置环境复制/移动pip下载很慢虚拟环境condashell脚本串行调参tensorboard可视化训练过程 记录深度学习使用服务器一些常用的shell操作。 基本操作连接服务器ssh username@ipaddress (直接用命令行连接，但scp传文件等必须是linux系统，最开始安了ubuntu
将作为一名程序员，进一步确定的目标是成为一个架构师，那么能耗必须考虑。 写代码与能耗的关系不言自明，现在假设将网络视频监控的监控识别算法放在客户端，既不利于算法的保护，也不利于算法的优化，更不利于降低能耗。 谈到能耗，每一台服务器都是吃电器，如果我不是老板，就不考虑耗电的情况，但是如果作为这个公司的一员，也
转载
2024-04-25 15:12:07
120阅读
第一次安装的时候真的是纯小白，各种概念都不懂，只知道使用GPU跑代码需要安装CUDA。弯路走了不少，前前后后被虐了一周，安装的非常艰辛，且混乱；第二次安装是在同学电脑上，又绕了些弯路，不过这次只花了半天时间，当时非常自豪来着。这次是第三次安装，有了第二次的经验，安装的非常非常顺利，可谓一气呵成。现在把过程发过来。步骤简述：1.确认有Nvidia GPU2.升级驱动程序3.安装CUDA4.安装GPU
转载
2024-05-09 16:09:29
460阅读
目录如何在GPU上训练pytorch代码？1.需要将哪些数据送入gpu里呢？2. 如何将这三个部分送入gpu呢？如何确认程序是否在GPU上跑——查看GPU使用情况在Python代码中指定GPU设置定量的GPU使用量设置最小的GPU使用量PyTorchGPU利用率较低问题原因： 1.1 GPU内存占用率问题1.2 GPU利用率问题问题原因分析与总结记录：3.1 模型提速技巧如何在GPU上训
转载
2024-05-03 22:37:00
356阅读
指令是处理器的语言，这个语言的格式决定了它和外界如何沟通，CPU如此，GPU也如此。 X86的指令是不等长的，1个字节的指令很多，很多个字节的也不少。早期版本的ARM处理器指令都是4个字节，为此曾被当年的手机巨头诺基亚批评占内存太多，聪明的ARM工程师加班加点，短时间内搞出了一套“指令减肥”方案，可以把很多常用指令编码为2个
转载
2024-05-06 15:26:41
111阅读
这篇文章主要讲TensorFlow在原生Windows下的安装教程。安装环境：TensorFlow0.12+cuda8.0+cudnn v5.1+window7+python3.5(1) 先安装Python3.5从官网下载Python3.5，https://www.python.org/downloads/windows/，双击安装即可。接着将安装路径添加进环境变量中。具体步
转载
2023-12-22 09:48:15
267阅读
用免费GPU线上跑SD项目实践 DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动，我很感兴趣就参加啦。之前就对chatGLM有所耳闻，是去年清华联合发布的开源大语言模型，可以用来打造个人知识库什么的，一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过，但是生成某些图片显存吃紧，想线上部署尝试一下。参考：DataWhale 学习手册链接1 学习简介本
