目录一、写在前面二、摘要A. 并行计算概述1. 什么是并行计算？2. 为什么使用并行计算？3. 谁在使用并行计算？B. 概念和术语1. 冯诺依曼计算机体系结构2. 弗林分类法3. 通用并行计算术语4. 并行编程的潜在好处、限制和成本C. 并行计算机内存架构1. 共享内存2. 分布式内存3. 混合分布式共享内存D. 并行编程模型1. 共享内存模型2. 线程模型3. 分布式内存/消息传递模型4. 数
说明在模型训练的时候，往往使用的是多GPU的环境；但是在模型验证或者推理阶段，往往使用单GPU甚至CPU进行运算。那么中间有个保存和加载的过程。下面来总结一下。多GPU进行训练首先设置可见的GPU数量，有两种方式可以声明：在shell脚本中声明：export CUDA_VISIBLE_DEVICES=0,1,2,3在py文件中声明os.environ['CUDA_VISIBLE_DEVICES']
转载
2023-06-14 20:50:02
636阅读
一、进程和线程进程（Process）和线程（Thread）都是操作系统中的基本概念，它们之间有一些优劣和差异一个【进程】是一个具有独立功能的程序关于某个数据集合的一次运行活动。多进程，就好比同时打开了Word，Excel和Visio，他们都是不同的程序运行活动，即多个进程同时启动而已。【线程（执行路径）】线程，是一个执行中的程序活动（即进程）的多个执行路径，执行调度的单位。线程依托于进程存在，在进
转载
2024-05-23 13:59:15
44阅读
简介这是这个系列的第一篇入门文章，这个系列的博客不会讲解太多的东西，毕竟官方文档就是最好的教程，这个系列的博客主要是写一些 cuda 代码跑起来试试，记录下自己的学习收获。 官方文档就是最好最权威的学习资源CUDA Toolkit Documentation v11.7.0运行本文的cuda代码，需要搭建GPU环境，参考博客 环境搭建此外作为入门，个人觉得这篇文章是很不错的 ，强烈建议先看完下面这
转载
2024-05-23 11:31:00
50阅读
一、并行编程模型介绍共享内存模型： 并行程序中的进程或线程可以通过对共享内存区的读写操作来实现互相间的通信。该模型关注并行任务的划分以及映射到进程或线程的指派分配。适用于共享存储多处理器。该类型主要有OpenMP、基于POSIX线程库的多线程程序等。消息传递模型： 各个并行任务之间不能通过程序地址的访问获得另一任务的数据，必须显式提出数据通信请求才能在任务间交互信息。该模型关注数据的分布情况。
转载
2024-04-24 10:53:20
294阅读
一、并发1、同时执行多个CUDA操作的能力（超越多线程并行）CUDA Kernel <<<>>>cudaMemcpyAsync(HostToDevice)cudaMemcpyAsync(DeviceToHost)CPU上的操作2、Fermi 体系结构可以同时支持（计算能力2.0+）GPU上最多16个CUDA内核2个cudaMemcpyAsyncs（必须在不同方向
转载
2024-04-05 13:06:30
569阅读
GPU ：主流众核协处理器GPU+CPU的异构并行体系OpenCL： CPU+GPU异构计算架构CUDA：NVIDIA 2007年推出的GPU通用计算产品cuda优缺点：cuda对于已经在cuda上的数据执行起来很快，但数据从cpu搬到cuda上却很耗时，而且依赖硬件。并发性 concurrency ：相对于软件系统硬件支持的并发性叫做并行性并行程序设计模型：任务并行（task paralleli
转载
2024-03-21 09:33:09
69阅读
2.1 CUDA编程模型概述CUDA编程模型提供了一个计算机架构抽象作为应用程序和硬件之间的桥梁。通信抽象是程序与编程模型实现之间的分界线，它通过专业的硬件原语和操作系统的编译器或库来实现。利用编程模型所编写的程序指定了程序的各组成部分是如何共享信息及相互协作的。编程模型从逻辑上提供了一个特定的计算机架构，通常它体现在编程语言或编程环境中。CUDA另外利用GPU架构的计算能力提供了以下几个特有功能
转载
2024-06-29 09:04:06
49阅读
本文主要讨论：解释型语言中的GPU编程ThrustRTC 项目, 以及如何在Python中使用CUDA模板库可以看作是ThrustRTC这个项目： fynv/ThrustRTCgithub.com
的一个引言。解释型语言与GPU编程众所周知，C++ 是CUDA的默认语言。在解释型语言（在以人工智能为代表的领域）如此流行的今天，我们发现，以CUDA为代表的GPU并行编程依然
转载
2024-06-29 16:29:28
88阅读
CUDA并行程序设计：Hello world![!] 因个人水平问题，以下内容可能会出现部分错误的情况，还望各位批评指正 文章目录CUDA并行程序设计：Hello world!1. 什么是CUDA？2. GPU和CPU的区别在哪里？3. GPU中的线程管理4. 用VS2017写一个Hello world!4.1 创建新工程4.2 具体代码4.3 运行结果4.4 性能比较5 总体代码(太长不看版)
转载
2024-07-17 11:08:36
346阅读
CUDA存储器模型：GPU片内：register，shared memory；host 内存： host memory, pinned memory.板载显存：local memory,constant memory, texture memory, texture memory,global memory;register: 訪问延迟极低； &nb
转载
2024-10-24 16:07:40
17阅读
在计算机体系中，数据并行有两种实现路径：MIMD（Multiple Instruction Multiple Data，多指令流多数据流）和SIMD（Single Instruction Multiple Data，单指令流多数据流）。其中MIMD的表现形式主要有多发射、多线程、多核心，在当代设计的以处理能力为目标驱动的处理器中，均能看到它们的身影。同时，随着多媒体、大数据、人工智
转载
2024-09-17 09:53:54
81阅读
当处理器的性能的发展受到各方面因素的限制的时候，计算机产业开始用多处理器结构实现并行计算来提高计算的效率。我们使用多处理器共享存储器的方式实现了多处理器编程，也就是多核编程。当然在这样的系统结构下我们面临着各种各样的挑战，例如如何协调各个处理器之间的数据调度以及现代计算机系统固有的异步特征等等。实例：大数组元素的求和思想：给出4个线程同时对数组的1/4求和。注意：这是一个低级的算法创建4个线程，每
转载
2024-09-07 09:47:37
62阅读
目录1. 搭建OpenACC运行环境1.1 安装CUDA11.11.2 配置CUDA环境1.3 安装OpenACC 21.31.4 配置openACC环境2. 程序执行2.1 GPU上并行，用kernels构件加速二重循环2.2 Data构件优化Jacobi迭代数据传输3. 总结参考文献利用Jacobi迭代对二维泊松方程进行求解。采用OpenACC并行编程的方式加速迭代过程。主要思想：用二阶中心差
CUDA存储器模型：CUDA限定符： 思想即是将内存数据拷贝到显存，在显存上执行并行运算，将结果数据从显存拷贝回内存。CUDA内有thrust库，类似于C++ stl库。===========以下是原文=========挖坑待填。 以上是本机CUDA参数。 需要了解的概念：线程束(wrap)，共享内存，常量内存，纹理内存(?，图形学相关，略)，流，原子操作
JDK给我们提供了一个并发编程的包java.util.current，并发编程包中是锁功能更加强大，
原创
2022-08-26 07:19:41
162阅读
并行和并发 并行(parallel)：指在同一时刻，有多条指令在多个处理器上同时执行。 并
原创
2023-02-26 10:04:45
166阅读
juc 是 java.util.concurrent 的简称,为了支持高并发任务,在编程时可以有效减少竞争条件和死锁线程.juc 主要包含 5 大工具包工具包描述locks- R
原创
2024-04-17 12:12:37
67阅读
LockSupport是用来创建锁和其他同步类的基本线程阻塞原语。LockSupport主要提供了两
原创
2022-08-26 07:19:28
122阅读
并行和并发都是多任务处理的概念，但它们的含义不同。并行是指两个或多个任务在同一时刻执行，即在同一时刻
原创
2024-04-17 13:42:49
67阅读
