CUDA存储器模型： GPU片内：register，shared memory； host 内存： host memory, pinned memory. 板载显存：local memory,constant memory, texture memory, texture memory,global
转载
2017-07-24 21:57:00
251阅读
点赞
1评论
目录1介绍篇线程篇进程篇异步篇GPU篇分布式篇基本使用#coding=utf-8
import multiprocessing
import os # 获取pid用
import time # 延时用
# 子进程要执行的函数
def child_proc(name):
print(f'child process {name} pid: {os.getpid()}')
time.slee
转载
2023-08-11 17:06:41
191阅读
前一段时间做实验，发现自己写的有些代码效率比较低，GPU利用率不高。而且现在逐渐觉得用Pytorch等框架有时不够自由，导致某些idea难以实现。所以最近在学习CUDA编程，这一系列文章会整理一下所学的东西，希望能和大家共同学习共同进步。如有文中错误的地方，希望大家不吝指出，谢谢！我个人主要是通过以下三本书进行学习的，建议初学者从《CUDA C编程权威指南》入手进行学习。CUDA并行程序设计——G
转载
2024-04-23 10:51:59
72阅读
本 节 书 摘 来 自 华 章 出 版 社 《CUDA高性能并行计算》 一 书 中 的 第1章，第1.1节， 作 者 CUDA for Engineers: An Introduction to High-Performance Parallel Computing[美] 杜安·斯托尔蒂（Duane Storti）梅特·尤尔托卢（Mete Yurtoglu） 著， 苏统华 项文成 李松泽 姚宇鹏
title: 【CUDA 基础】2.3 组织并行线程 categories:CUDAFreshman tags:ThreadBlockGrid toc: true date: 2018-03-09 21:00:38Abstract: 本文介绍CUDA模型中的线程组织模式Keywords: Thread,Block,Grid开篇废话一天写两段废话也是有点累了，天天写废话，后面可以开个系列叫做废话。写
并行计算 并行计算可以被定义为同时使用许多计算资源（核心或计算机）来执行并发计算，一个大的问题被分解成多个小问题，然后再不同的计算资源上并行处理这些小问题。并行计算通常涉及两个不同的技术领域：计算机架构以及并行程序设计。具体如下图： 大多数现代处理器都应用了哈佛体系结构（Harvard architecture），如下图所示，它主要由3部分组成：内存（指令内存和数据内存）、中央处理单元（控制单
转载
2024-01-26 08:44:25
127阅读
1、fork/join并行执行模式的概念
2、OpenMP指令和库函数介绍
3、parallel 指令的用法
4、for指令的使用方法
5 sections和section指令的用法
1、fork/join并行执行模式的概念
OpenMP是一个编译器指令和库函数的集合，主要是为共享式存储计算机上的并行程序设计使用的。
前面一篇文章中已经试用了OpenMP的一个Parallel
转载
2013-12-13 14:58:00
154阅读
2评论
串行计算模式常规软件是串行的 设计运行于一个中央处理器上（CPU） 通过离散的指令序列完成一个问题的解决 一条一条指令的执行 同时只有一条指令在执行并行计算模式
转载
2024-01-25 19:33:10
73阅读
OpenMP并行程序设计（一） OpenMP是一个支持共享存储并行设计的库，特别适宜多核CPU上的并行程序设计。今天在双核CPU机器上试了一下OpenMP并行程序设计，发现效率方面超出想象，因此写出来分享给大家。 在VC8.0中项目的属性对话框中，左边框里的“配置属性”下的“C/C++”下的“语言”页里，将OpenMP支持改为“是/（OpenMP）”就可以支持OpenMP了。 先看一个简单的...
转载
2007-12-17 10:29:00
163阅读
CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和[CUDA Toolkit Documentation](http://docs.nvidia.com/cuda/index.html)的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简
转载
2024-04-07 17:40:56
37阅读
OpenMP 是一个编译器指令和库函数的集合，主要是为共享式存储计算机上的并行程序设计使用的。
0. 一段使用 OpenMP 的并行程序
#include <stdio.h>
#include <omp.h>
main() {
int id;
#pargma omp parallel
id = omp_get_thread_num();
转载
2016-10-30 18:18:00
224阅读
在C/C++中使用OpenMP优化代码方便又简单，代码中需要并行处理的往往是一些比较耗时的for循环，所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌握了文中讲的这些就足够了，如果想要学习OpenMP可以到网上查查资料。 工欲善其事，必先利其器。如果还没有搭建好omp开发环境的可以看一下OpenMP并行程序设计——Eclipse开发环境的搭建 首先，如何使一段代码并行处理呢
转载
2019-01-01 17:19:00
632阅读
2评论
CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和[CUDA Toolkit Documentation](http://docs.nvidia.com/cuda/index.html)的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简
转载
2024-07-03 22:21:52
52阅读
并发与并行并发：是指在某个时间段内，多任务交替的执行任务。当有多个线程在操作时，把CPU运行时间划分成若干个时间段,再将时间段分配给各个线程执行。 在一个时间段的线程代码运行时，其它线程处于挂起状。并行：是指同一时刻同时处理多任务的能力。当有多个线程在操作时，cpu同时处理这些线程请求的能力。所以在并发环境下，程序的封闭性被打破，出现以下特点：并发程序之间有相互制约的关系。直接制约体现为一个程序需
转载
2023-08-09 11:53:54
152阅读
Java 进阶7 并发优化 1 并行程序的设计模式 20131114本章重点介绍的是基于 Java并行程序开发以及优化的方法，对于多核的 CPU，传统的串行程序已经很好的发回了 CPU性能，此时如果想进一步提高程序的性能，就应该使用多线程并行的方式挖掘 CPU的潜能。本章知识点： &nb
转载
2023-07-20 16:23:02
76阅读
基于CUDA的并行编程在计算机视觉和机器学习邻域得到了广泛的应用。[1]Professional Cuda C Programming一书系统的介绍了CUDA的编程模型和各种优化的奇技淫巧，虽说文中GPU的系统架构有些过时，但是基础理论和架构仍然适合当前的主流GPU。准备写几篇blog总(fan)结(yi)一下书中第二章到第六章的部分，最后再举一个例子将这几章的内容贯穿起来。参考文献[1] PRO
java并行程序基础参考：https://github.com/chengbingh...2.1 有关线程， 需要知道的事进程是线程的容器线程状态图：2.2 线程的基本操作2.2.1新建线程2.2.2终止线程stop 暴力终止线程，废弃方法2.2.3线程中断方法：2.2.4 等待（wait）和唤醒notify注意：wait 是object的一个方法，调用wait方法的对象，必须在synchroni
转载
2023-10-20 23:48:38
57阅读
GPU硬件架构GPU实际上是一个SM的阵列，每个SM包含若干个SP。一个SP可以执行一个thread，但是实际上并不是所有的thread能够在同一时刻执行。Nvidia把32个threads组成一个warp，warp是调度和运行的基本单元。warp中所有threads并行的执行相同的指令。一个warp需要占用一个SM运行，多个warps需要轮流进入SM。由SM的硬件warp scheduler负责
转载
2024-03-29 12:03:19
108阅读
并行程序设计模式并行设计模式属于设计优化的一部分，它是对一些常用的多线程结构的总结和抽象。与串行程序相比，并行程序的结构通常更为复杂。因此，合理的使用并行模式在多线程开发中，更具有积极意义。本文中主要介绍Future模式、Master-Worker模式、GuardedSuspeionsion模式、不变模式和生产者-消费者模式。
**1Future模式**
Future模式有点类似商品订单。比如在
转载
2023-10-24 00:46:23
59阅读
文章目录第二章 Java并行程序基础2.1有关线程你必须知道的事2.2初始线程：线程的基本操作2.2.1新建线程2.2.2终止线程2.2.3线程中断2.2.4等待（wait）和通知（notify）2.2.5 挂起（suspend）和继续执行（resume）线程2.2.6等待线程结束（join）和谦让（yield）2.3 volatile与Java内存模型（JMM）2.4 分门别类的管理：线程组2
转载
2023-11-06 12:52:24
40阅读
