说明最近在学习CUDA，感觉看完就忘，于是这里写一个导读，整理一下重点主要内容来源于NVIDIA的官方文档《CUDA C Programming Guide》，结合了另一本书《CUDA并行程序设计 GPU编程指南》的知识。因此在翻译总结官方文档的同时，会加一些评注，不一定对，望大家讨论指出。另外，我才不会老老实实的翻译文档，因此细节还是需要从文档里看的。看完两份文档总的来说，感觉《CUDA C P
转载
2024-07-26 21:59:29
154阅读
区分两种API的前缀 驱动: cu_ 运行: cuda_important: CUDA函数库 全部库: http://developer.nvidia.com/gpu-accelerated-librariesnvcc编译器，注意后缀CUDA硬件环境：芯片是对于架构的实现并行计算： 深度学习适合并行编程stencil是以某一固定模板的形式读取数据（只能是读相邻元素的关系）编写CUDA程序习惯： h
转载
2024-04-22 12:49:42
86阅读
前言本文是之前做云计算实验整理的内容，借博客保存一下！使用不同方法对算法加速还是很有意思的！实验题目自选一张图片，按照实验指南说明在jetson05节点上基于OpenMP和CUDA对图片进行边缘提取实验，记录梯度向量幅度的最小值和最大值，比较串行算法和并行算法的运行时间，并提交处理后的边缘提取结果图片。试一下：如果编译时开启优化选项（比如选择“-O3”级别的优化），串行算法和并行算法的运行时间分别
转载
2024-06-18 12:17:20
145阅读
数字万用表使用方法：首先要了解一些基础，比如： power 电源开关 HOLD锁屏按键, B/L一般是为背光灯， 其次要了解 转换开关 V-或DCV 是直流电压挡的意思 V~或ACV交流电压挡的意思 A-或DCA直流电流挡的意思 A~或ACA是交流电流挡的意思， Ω是电阻挡的意思，画一个二极管的符号那个是二极管档也称蜂鸣档，F表示电容挡， H表示电感挡 hfe表示三极管电流放大系数测试挡 一般数字
一. 电脑配置如下：写在前面，本机的电脑配置如下：System：windows 10 专业版 （64位）CPU：i5-9400FRAM：16G（2666MHz）显卡：GEFORCE GTX 1660 Ti （万图师 Ti OC）首先，在安装之前需要查看显卡所能支持的最高CUDA版本，打开【NVIDIA控制面板】，选择左下角的【系统信息】选项，并点击【组件】按钮进入到如下界面：从图中我们可看出，GT
转载
2024-09-05 07:06:34
263阅读
最近在学习JAVA 注解这块总是一知半解、模模糊糊的，特地抽出时间对注解知识做个全面梳理，希望对其他初级学习者能有所帮助，文章转载并手动试验代码。什么是注解Annotation（注解）就是java提供了一种元程序中的元素关联任何信息和着元数据的途径和方法。Annotation（注解）是一个接口，程序可以通过反射来获取程序元素的Annotation对象，然后通过Annotation对象来获取注解里面
GPU与并行计算GPU进行并行计算的原理GPU在进行并行计算时，是以核（kernel）为单位进行的 每个核由若干线程块（thread block）负责运算，而每个线程块又由若干个线程组成（核可看作一个功能函数） GPU包含若干个流处理器（SM），越多GPU性能越好SM：simple processor:处理单元 memory:存储单元 SM结构图如下： GPU中每个流处理器（SM）独立并行工作，用
转载
2024-04-22 07:25:40
223阅读
1：2017年4月19号本来打算 在linux上面装个Keras+TensorFlow 学习一下 ，但是原来电脑的配置是ubuntu15.10+cuda7.5+cudnnV4+opencv3.1。在按照 http://keras-cn.readthedocs.io/en/latest/for_beginners/keras_linux/网站教程 安装过程中出现类似下图错误（提示找不到li
CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和[CUDA Toolkit Documentation](http://docs.nvidia.com/cuda/index.html)的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简
转载
2024-04-07 17:40:56
37阅读
一、背景首先我一直有一个疑问？核函数中线程是如何执行的，他的并行性的执行机制是什么？同一个warp是并行的，不同warp间是串行的吗因此我们开始学习一下：二、CUDA与GPU名词解析首先我们要明确：SP（streaming Processor，流处理器），SM（streaming multiprocessor，流多处理器）是硬件（GPU hardware）概念。而threa
转载
2024-03-21 11:29:04
90阅读
PyTroch相关操作（1）（21）torch.cuda.Event() 记录GPU的运行时间start = torch.cuda.Event(enable_timing=True)
end = torch.cuda.Event(enable_timing=True)
start.record()
model.train(xxx)
torch.cuda.synchronize()
end.reco
转载
2024-04-25 09:36:19
545阅读
建议全文看完再操作查看显卡1.查看自己gpu的型号2.查看cuda是否支持自己电脑的gpu型号3.查看driver version 和cuda versionanaconda中新建环境安装清华镜像源进入pytorch官网选择对应的命令换源安装测试 查看显卡1.查看自己gpu的型号ctrl+Alt+delete 打开任务管理器，点击性能，2.查看cuda是否支持自己电脑的gpu型号进入NVIDIA
转载
2024-05-06 12:32:20
635阅读
“The number of transistors on an integrated circuit doubles every two years.” – Gordon E. Moore著名的摩尔定律。下面是摩尔定律的可视化分析图： 串行性能的扩展已经结束：不能继续再扩展处理器 （没有10GHz的芯片）不能继续再增加能源的消耗（不能把芯片融化）能够继续增加晶体管的
转载
2024-04-07 08:42:54
77阅读
第五章 线程协作5.1 目标 了解CUDA C 中的线程了解不同线程之间的通信机制了解并行执行线程的同步机制5.2 并行线程块的分解 add<<<N, 1>>>(dev_a, dev_b, dev_c);
尖括号中：N---开启了N个线程块；1---每个线程块中创建1个线程。
共启动的线程数量：
N个线程块*1个线程/线程块 = N个并行线程
转载
2024-04-14 22:24:05
381阅读
最近在学一门课，叫做“C++与并行计算”。要用到多CPU（进程）并行的原理，实现语言是C++的MPI接口。联想到上学期用到CUDA C/C++来做并行计算，就对这两门语言做一个总结，分享下自己关于并行计算的认识。1 并行计算的基本原理并行计算一般有两个维度，一个是指令（Instruction）或程序（Program），另一个是数据（Data）。这样，就可以归纳出各种并行模式（S代表Single，M
转载
2024-03-18 15:28:07
101阅读
link addr一：运行程序
按照上一篇文章所述，安装好cuda软件以后，就可以使用”nvcc -V“命令查看所用到的编译器版本，本人用版本信息来自：“Cuda compilation tools, release 3.2, V0.2.1221”。
自己创建一个目录，在里面新建
1 FP16半精度
FP16 和 FP32，是计算机使用的二进制浮点数据类型。
FP16 即半精度，使用2个字节。FP32 即Float。其中，sign为表示正负，exponent位表示指数 2 ( n − 15 + 1 ) 2^{(n-15+1)}2
(n−15+1)
，具体的细节这里不说明。需要看时再百度。
float类型在内存中的表示
单独使用FP16：优势：
减小显
转载
2024-07-05 16:31:07
118阅读
目录问题查阅资料解决步骤1.检查pytorch版本、是否有CUDA2.安装CUDA前看电脑的显卡驱动程序版本、支持的最高版本3.安装CUDA和cuDNN4.卸载pytorch5.重新安装pytorch6.问题解决 问题在pycharm上用python3运行代码时报错：查阅资料报错：Torch not compiled with CUDA enabled看这一篇就足够了错误Torch not co
转载
2024-04-02 16:13:04
6049阅读
动机1. 由于不同项目需要的环境需求不同，要使不同项目都能在同一台电脑上正常运行，需要多个环境共存且互不影响；2. 可以优雅地解决恼人的 cuda 版本问题：以往的经典做法是在物理机上安装多个版本的 cuda，通过修改环境变量的方式实现 cuda 的版本切换，为此我开发过一个方便 cuda 版本切换的小工具：https://github.com/MuGeminorum-Archive/CUDA_V
转载
2024-03-20 20:14:40
556阅读
这两天看到Vasily Volkov牛人的ppt，对如何更有效的使用GPU做通用计算提出了增加线程级并行以外的另一种方法---增加指令级并行，受益匪浅。刚好也没找到中文版本，就翻译过来与大家交流下，有错误请各位牛人指正，所有的实验结果和图片均出自原ppt。请参考《Better Performance at Lower Occupancy》后面两个案例有时间会放上来...
-------------
转载
2024-06-17 16:57:12
51阅读
