python模块学习pytorch模块学习if __name__ == '__main__':
import warnings
warnings.filterwarnings("ignore")
train_opt = TrainOptions().parse() # get training options
world_size = train_opt.wor
转载
2023-12-14 13:29:21
95阅读
文章目录前言1. 无需pytorch也可以做神经网络1.1 数据准备（代码片段1）1.2 非pytorch训练(代码片段2)2. 融入pytorch内置函数3. 进一步封装和改进4. 将实验做完整4.1 使用Dataset和Dataloader进行加载数据4.2 增加验证集5. 使得学习和反向传播过程更加简便5.2 完全展示6. 框架多样性6.1 使用卷积神经网络6.2 使用序贯模型6.3 适用
转载
2024-06-04 05:29:15
63阅读
物理CPU 物理CPU就是计算机上实际配置的CPU个数。在linux上可以打开cat /proc/cpuinfo 来查看，其中的physical id就是每个物理CPU的ID，你能找到几个physical id就代表你的计算机实际有几个CPU。在linux下可以通过指令 grep ‘physical id’ /proc/cpuinfo | sort -u | wc -l 来查看你的物理CPU个数
单机多卡训练： MirroredStrategytf.distribute.MirroredStrategy 是一种简单且高性能的，数据并行的同步式分布式策略，主要支持多个GPU在同一台主机上训练。使用这种策略时，我们只需实例化一个 MirroredStrategy 策略:strategy=tf.distribute.MirroredStrategy()并将模型构建的代码放入 strategy.s
转载
2023-12-18 20:56:37
153阅读
mini-batch:神经网络一次迭代的过程如下图所示：选择n个样本组成一个batch，输入神经网络，得到输出。将输出和label一起输入loss层，得到loss值，并通过BP算法更新模型参数。从工程的角度来看，选择mini-batch(一般为2-32)是最优的。因为：1、提高了运行效率，相比传统的梯度下降法的每个epoch只更新一次参数，使用mini-batch可以在一个epoch中多次更新参数
基础CUDA（Compute Unified Device Architecture)是NVIDIA提出CPU和GPU是的PCI-Express总线相连cpu CPU则负责管理设备端的资源; CPU核心比较重，用来处理非常复杂的控制逻辑，以优化串行程序执行。 CPU线程:操作系统必须交替线程使用启用或关闭CPU执行通道以提供多线程处理功能。上下文的切换缓慢且开销大gpu GPU用来提高计算密集型应
转载
2024-03-27 23:40:18
65阅读
CUDA C编程啥玩意是CUDA？CUDA® is a parallel computing platform and programming model invented by NVIDIA. It enables dramatic increases in computing performance by harnessing the power of the graphics process
转载
2024-07-19 21:47:14
11阅读
solver.prototxtnet:训练预测的网络描述文件，train_test.prototxt test_initialization:取值为true或者false，默认为true，就是刚启动就进行测试，false的话不进行第一次的测试。test_iter:在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）>=测试集的大小，测试集
NVIDIA Kepler GPU里面有十几个SMX，每个SMX的组成结构如上图，内含192个处理单精度数据的CUDA Core，2000+核心就是SMX的数量 * 每个SMX内部的CUDA Core数量得出的。 问题就在这里，现在的GPU可以被看做是基于Streaming Processor的众核架构，这里的“核心”，其量级是跟多核CPU里面的“核心”完全不可同日而语的。 CPU和GPU的核心用
转载
2024-04-29 15:56:53
164阅读
# Python中的GPU数量管理
随着深度学习和科学计算的迅速发展，GPU（图形处理单元）在数据处理和模型训练中发挥着越来越重要的作用。Python作为一种流行的编程语言，提供了多种库来有效管理和利用GPU资源。本文将介绍如何在Python中获取可用的GPU数量，并给出相关代码示例。
## 为什么使用GPU？
在处理大型数据集时，CPU的处理速度可能显得力不从心。GPU具有并行计算的能力，
原创
2024-08-28 06:53:37
52阅读
原文及翻译:torch.device
torch.device栏目
class torch.device
torch.device 类型
A torch.device is an object representing the device on which
a torch.Tensor is or will be allocated.
torch.device的一个实例是一个对象,该对象代
早在1990年，无处不在的交互式3D图形还只是科幻小说里的东西。十年后，基本上每台新电脑都包含一个图形处理单元(GPU，即Graphics processing unit)。直到今天，GPU的原始计算能力已经超越最强大的CPU，并且差距还在稳步增大。今天，GPU可以直接使用图形硬件来实现许多并行算法。那些利用底层计算能力的适当的算法常常会获得巨大的速度提升。任何3D图形系统的任务都是根据一个场景的
初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.服务器上的多张 GPU 都占满, 有点浪费性能.因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配.实际中发现, Keras 还可以限制 GPU 显
转载
2024-08-08 10:02:37
205阅读
本篇博文仅实现hello world，先看到效果，具体细节将在后续博文解释。准备如果你是第一次使用CUDA，在Linux下可以使用下面的命令来检查CUDA编译器是否安装正确：$ which nvcc一般，该指令输出为：/usr/local/cuda/bin/nvcc另外，你可能还需要检查下你机器上的GPU型号，可以使用给下面的命令查询：$ ls -l /dev/nv*可能的输出为：crw-rw-
原创
2023-06-02 21:23:45
162阅读
一、安装步骤首先看看不错的博客，看完有初步的心得，参考博客如下： ① Ubuntu基本环境配置，这个算是服务器环境搭建全指导； ② Ubuntu22.04配置深度学习环境，这个是系统版本一致的博客。 大致步骤为 ① 查看GPU型号，确认是否安装GPU。lspci | grep -i nvidia
sudo dpkg --list | grep nvidia-* # 查看NVIDIA驱动版本②
一、线程并行相关概念同步(Synchronous)和异步(Asynchronous)同步和异步的本质区别是是否需要等待，比如一个方法在执行，必须等前面一个方法程执行完成，才可以执行，这就是同步。如果不需要等上一个方法执行完成，并行或者并发执行，这就是异步调用。并发(Concurrency)和并行(Parallelism)并发和并行两个概念很容易混淆。解释起来意思也差不多，不过说起来，并行才是真正意
1.Python 数据类型
Python 内置的常用数据类型共有6中：
数字（Number）、布尔值（Boolean）、字符串（String）、元组（Tuple）、列表（List）、字典（Dictionary）。
数字：常用的数字类型包括整型数（Integer）、长整型（Long）、浮点数（Float）、复杂型数（Complex）。
10、100、-100都是整型数；-0.1、10.01是浮点数。
转载
2024-05-11 20:23:22
102阅读
在服务器里利用anaconda科学利用GPU以及管理代码一 使用conda产生虚拟环境1 首先在服务器里下载安装anacodna2 .创建python虚拟环境3 使用激活(或切换不同python版本)的虚拟环境4 对虚拟环境中安装额外的包5 关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)6 删除虚拟环境。7 删除环境中的某个包二 使用pycharm连接服务器中的虚拟
转载
2024-08-07 15:39:03
76阅读
作者 | 郑松林分析一次SQL并行执行的产生过程1、并行引起的灾祸一大早，某网省兄弟告诉我，数据库会话执行的SQL开启了并行，导致负载很高，会话也高，查了半天，没找到具体原因，也不知道该如何解决？对于他的问题，我直接回应了：这还不清楚吗？常见原因无非有以下两个：第一：对象开启了并行(包括索引和表)第二：SQL语句里面使用了PARALLEL的HINTS现场兄弟说，都查了并没有上面的情况，听到他的回答
转载
2024-08-14 14:03:08
106阅读
CUDA简介另一篇介绍windows 下程序 编程入门博客 深入浅出谈CUDA编程指南官方CUDA(Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。是一种通用并行计算架构，该架构使GPU能够解决复杂的计算问题。说白了就是我们可以使用GPU来并行完成像神经网络、图像处理算法这些在CPU上跑起来比较吃力的程序。通过GPU和高并行，我们可以
转载
2024-07-26 01:31:24
90阅读
