多gpu并行计算如何把我的几台电脑联起来做并行计算如何利用gpu进行并行计算

转载

mob64ca13ff28f1 2024-05-26 22:37:59

文章标签 cuda CUDA 核函数并行计算 文章分类 游戏开发

初识CUDA的异构并行计算

　　关于CUDA相关知识点很多，本篇只是初识CUDA的第一篇介绍。先谈谈为什么CUDA出现以及为什么需要使用CUDA。

1 为什么CUDA出现？

　　其实CUDA的出现主要是当下很多算法的算力需求(例如：AI等)无法有效的在CPU上面满足，所以GPU应需而生。伴随着GPU的出现而产生的CUDA库，能够有效的加速算法执行效率。

2 为什么使用CUDA？

　　目前出现的并行计算库不只有CUDA，包括：OpenCL、OpenMP、Sycl等。但是CUDA依托于NVIDIA开发的高层抽象库，更加容易学习同时NVIDIA提供的Tutorials更加完善。

使用CUDA并行编程GPU输出Hello World

　　我们学习C/C++时候第一行代码基本上也是Hello World，所以针对CUDA的并行编程我们也看下面的并行输出。

#include "../common/common.h"
#include <stdio.h>

/*
 * A simple introduction to programming in CUDA. This program prints "Hello
 * World from GPU! from 10 CUDA threads running on the GPU.
 */

__global__ void helloFromGPU()
{
    printf("Hello World from GPU!\n");
}

int main(int argc, char **argv)
{
    printf("Hello World from CPU!\n");

    helloFromGPU<<<1, 10>>>();
    CHECK(cudaDeviceReset());
    return 0;
}

下面我们简单分析一下上面的程序：上面的代码与我们平常最常见的串行编程基本类似，只是有些小的区别：

修饰符__global__告诉编译器，这个函数将会从CPU中调用，然后在GPU上执行；
核函数helloFromGPU在main中有3个尖括号，代表从主线程到GPU设备端的代码调用；
最终结果会输出10次Hello World from GPU代表执行了10次的核函数运算。

其中宏CHECK为检查是否有效运行，该函数放在头文件common.h里面。

#define CHECK(call)                                                            \
{                                                                              \
    const cudaError_t error = call;                                            \
    if (error != cudaSuccess)                                                  \
    {                                                                          \
        fprintf(stderr, "Error: %s:%d, ", __FILE__, __LINE__);                 \
        fprintf(stderr, "code: %d, reason: %s\n", error,                       \
                cudaGetErrorString(error));                                    \
    }                                                                          \
}