1.OpenMPOpenMP是一种用于共享内存并行系统的多线程程序设计的库(Compiler Directive),特别适合于多核CPU上的并行程序开发设计。它支持的语言包括：C语言、C++、Fortran；不过，用以上这些语言进行程序开发时，并非需要特别关注的地方，因为现如今的大多数编译器已经支持了OpenMP，例如：Sun Compiler,GNU Compiler、Intel Compile
转载
2023-12-09 13:13:39
124阅读
基于都志辉老师《MPI并行程序设计模式》第14章内容。前面接触到的MPI发送的数据类型都是连续型的数据。非连续类型的数据，MPI也可以发送，但是需要预先处理，大概有两类方法：（1）用户自定义新的数据类型，又称派生类型（类似定义结构体类型，但是比结构体复杂，需要考虑<类型，偏移量>两方面的内容）（2）数据的打包和解包（将不连续的数据给压缩打包到连续的区域，然后再发送；接受到打包数据后，先
转载
2024-01-14 21:12:17
166阅读
1.并行编程模式-消息传递： 具有通用功能的消息传递库有PICL、PVM、PARMACS、P4、MPI等；面向特定系统定制的消息传递库有MPL、NX、CMMD等。消息传递模型的主要缺点是：要求在编程过程中参与显式的数据划分和进程间同步，因此会需在解决数据依赖、预防死锁上话费较大精力。2.MPI消息传递通信的基本概念缓存区MPI环境定义了3种缓存区： 应用缓冲区指保存将要发送或接受的数据的地址空间
转载
2023-11-06 16:52:49
62阅读
1、fork/join并行执行模式的概念
2、OpenMP指令和库函数介绍
3、parallel 指令的用法
4、for指令的使用方法
5 sections和section指令的用法
1、fork/join并行执行模式的概念
OpenMP是一个编译器指令和库函数的集合，主要是为共享式存储计算机上的并行程序设计使用的。
前面一篇文章中已经试用了OpenMP的一个Parallel
转载
2013-12-13 14:58:00
154阅读
2评论
MPI 文章目录MPI**$1 概述****$2 MPI基本函数**$2.1 `MPI_Init(int* argc, char** argv[])`$2.2 `MPI_Finalize(void)`$2.3 `MPI_Comm_size(MPI_Comm comm, int* size )`$2.4 `MPI_Comm_rank (MPI_Comm comm, int* rank)`$2.5 `
转载
2023-10-23 08:00:55
131阅读
OpenMP并行程序设计（一） OpenMP是一个支持共享存储并行设计的库，特别适宜多核CPU上的并行程序设计。今天在双核CPU机器上试了一下OpenMP并行程序设计，发现效率方面超出想象，因此写出来分享给大家。 在VC8.0中项目的属性对话框中，左边框里的“配置属性”下的“C/C++”下的“语言”页里，将OpenMP支持改为“是/（OpenMP）”就可以支持OpenMP了。 先看一个简单的...
转载
2007-12-17 10:29:00
163阅读
CUDA存储器模型： GPU片内：register，shared memory； host 内存： host memory, pinned memory. 板载显存：local memory,constant memory, texture memory, texture memory,global
转载
2017-07-24 21:57:00
251阅读
点赞
1评论
CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和[CUDA Toolkit Documentation](http://docs.nvidia.com/cuda/index.html)的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简
转载
2024-04-07 17:40:56
37阅读
OpenMP 是一个编译器指令和库函数的集合，主要是为共享式存储计算机上的并行程序设计使用的。
0. 一段使用 OpenMP 的并行程序
#include <stdio.h>
#include <omp.h>
main() {
int id;
#pargma omp parallel
id = omp_get_thread_num();
转载
2016-10-30 18:18:00
224阅读
在C/C++中使用OpenMP优化代码方便又简单，代码中需要并行处理的往往是一些比较耗时的for循环，所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌握了文中讲的这些就足够了，如果想要学习OpenMP可以到网上查查资料。 工欲善其事，必先利其器。如果还没有搭建好omp开发环境的可以看一下OpenMP并行程序设计——Eclipse开发环境的搭建 首先，如何使一段代码并行处理呢
转载
2019-01-01 17:19:00
632阅读
2评论
并发与并行并发：是指在某个时间段内，多任务交替的执行任务。当有多个线程在操作时，把CPU运行时间划分成若干个时间段,再将时间段分配给各个线程执行。 在一个时间段的线程代码运行时，其它线程处于挂起状。并行：是指同一时刻同时处理多任务的能力。当有多个线程在操作时，cpu同时处理这些线程请求的能力。所以在并发环境下，程序的封闭性被打破，出现以下特点：并发程序之间有相互制约的关系。直接制约体现为一个程序需
转载
2023-08-09 11:53:54
152阅读
Java 进阶7 并发优化 1 并行程序的设计模式 20131114本章重点介绍的是基于 Java并行程序开发以及优化的方法，对于多核的 CPU，传统的串行程序已经很好的发回了 CPU性能，此时如果想进一步提高程序的性能，就应该使用多线程并行的方式挖掘 CPU的潜能。本章知识点： &nb
转载
2023-07-20 16:23:02
76阅读
目录1介绍篇线程篇进程篇异步篇GPU篇分布式篇基本使用#coding=utf-8
import multiprocessing
import os # 获取pid用
import time # 延时用
# 子进程要执行的函数
def child_proc(name):
print(f'child process {name} pid: {os.getpid()}')
time.slee
转载
2023-08-11 17:06:41
191阅读
基于CUDA的并行编程在计算机视觉和机器学习邻域得到了广泛的应用。[1]Professional Cuda C Programming一书系统的介绍了CUDA的编程模型和各种优化的奇技淫巧，虽说文中GPU的系统架构有些过时，但是基础理论和架构仍然适合当前的主流GPU。准备写几篇blog总(fan)结(yi)一下书中第二章到第六章的部分，最后再举一个例子将这几章的内容贯穿起来。参考文献[1] PRO
title: 【CUDA 基础】2.3 组织并行线程 categories:CUDAFreshman tags:ThreadBlockGrid toc: true date: 2018-03-09 21:00:38Abstract: 本文介绍CUDA模型中的线程组织模式Keywords: Thread,Block,Grid开篇废话一天写两段废话也是有点累了，天天写废话，后面可以开个系列叫做废话。写
GPU硬件架构GPU实际上是一个SM的阵列，每个SM包含若干个SP。一个SP可以执行一个thread，但是实际上并不是所有的thread能够在同一时刻执行。Nvidia把32个threads组成一个warp，warp是调度和运行的基本单元。warp中所有threads并行的执行相同的指令。一个warp需要占用一个SM运行，多个warps需要轮流进入SM。由SM的硬件warp scheduler负责
转载
2024-03-29 12:03:19
117阅读
java并行程序基础参考：https://github.com/chengbingh...2.1 有关线程， 需要知道的事进程是线程的容器线程状态图：2.2 线程的基本操作2.2.1新建线程2.2.2终止线程stop 暴力终止线程，废弃方法2.2.3线程中断方法：2.2.4 等待（wait）和唤醒notify注意：wait 是object的一个方法，调用wait方法的对象，必须在synchroni
转载
2023-10-20 23:48:38
57阅读
并行程序设计模式并行设计模式属于设计优化的一部分，它是对一些常用的多线程结构的总结和抽象。与串行程序相比，并行程序的结构通常更为复杂。因此，合理的使用并行模式在多线程开发中，更具有积极意义。本文中主要介绍Future模式、Master-Worker模式、GuardedSuspeionsion模式、不变模式和生产者-消费者模式。
**1Future模式**
Future模式有点类似商品订单。比如在
转载
2023-10-24 00:46:23
59阅读
文章目录第二章 Java并行程序基础2.1有关线程你必须知道的事2.2初始线程：线程的基本操作2.2.1新建线程2.2.2终止线程2.2.3线程中断2.2.4等待（wait）和通知（notify）2.2.5 挂起（suspend）和继续执行（resume）线程2.2.6等待线程结束（join）和谦让（yield）2.3 volatile与Java内存模型（JMM）2.4 分门别类的管理：线程组2
转载
2023-11-06 12:52:24
40阅读
前一段时间做实验，发现自己写的有些代码效率比较低，GPU利用率不高。而且现在逐渐觉得用Pytorch等框架有时不够自由，导致某些idea难以实现。所以最近在学习CUDA编程，这一系列文章会整理一下所学的东西，希望能和大家共同学习共同进步。如有文中错误的地方，希望大家不吝指出，谢谢！我个人主要是通过以下三本书进行学习的，建议初学者从《CUDA C编程权威指南》入手进行学习。CUDA并行程序设计——G
转载
2024-04-23 10:51:59
72阅读
