2.3 A VECTOR ADDITION KERNEL

我们现在使用矢量加法来说明CUDA C程序结构。矢量加法可以说是最简单的数据并行计算，是顺序编程中Hello World的并行等价物。在我们展示向量加法的内核代码之前，首先回顾传统的向量加法（主机代码）函数的工作原理是有帮助的。图2.5显示了一个简单的传统C程序，它由主函数和向量加法函数组成。在我们所有的示例中，每当需要区分主机和设备数据时，我们都会在主机处理的变量名称前加上“h_”和由设备处理的变量名称“d_”，以提醒自己这些变量的预期用途。因为我们只有图2.5中的主机代码，我们只看到“h_”变量。

假设要添加的向量存储在主程序中分配和初始化的数组A和B中。输出向量在数组C中，该数组也在主程序中分配。为了简洁起见，我们没有显示A、B和C如何在主函数中分配或初始化的详细信息。这些数组的指针（见下面的边栏）与包含向量长度的变量N一起传递给vecAdd函数。请注意，vectorAdd函数的正式参数以“h_”为前缀，以强调这些参数由主机处理。当我们在接下来的步骤中引入设备代码时，这个命名惯例将有所帮助。

图2.5中的vecAdd函数使用for-loop来遍默向量元素。在第i次迭代中，输出元素h_C[i]接收h_A[i]和h_B[ij的总和。向量长度参数n用于控制循环，以便迭代次数与向量的长度相匹配。形式参数h_A、h_B和h_C是通过引用传递的，因此函数读取h_A、h_B的元素，并通过参数指针A、B和C写入h_C的元素。当vecAdd函数返回，主函数中的后续语句可以访问C的新内容。

并行执行向量加法的一个简单方法是修改vec-Add函数并将其计算移动到设备。这种修改后的vecAdd函数的结构如图2.6所示。在文件的开头，我们需要添加一个C预处理器指令来包含cuda.h头文件。该文件定义了我们即将推出的CUDA API功能和内置变量（见下面的边栏）。该函数的第1部分在设备（GPU）内存中分配空间来保存A、B和C矢量的副本，并将矢量从主机内存复制到设备内存。第2部分在设备上启动实际矢量加法内核的并行执行。第3部分将总和向量C从设备内存复制回主机内存，并释放设备内存中的向量。

C语言中的指针
图2.4中的函数参数A、B和C是指针。在C语言中，指针可用于访问变量和数据结构。虽然发点变量V可以用以下内容声明：
float V;
指针变量P可以用以下项声明：
float *P;
通过用语句P=&V将V的地址分配给P，我们使P“指向”V。*P成为V的同义词。例如，U=*P将V的值分配给U。另一个例子，*P=3将V的值更改为3。
C程序中的数组可以通过指向其Oth元素的指针访问。例如，语句P=&（A[0]）使P指向数组A的Oth元素。P[i]成为A[il的同义词。事实上，数组名称A本身就是指向其Oth元素的指针。
在图2.5中，传递数组名称A作为函数调用vecAdd的第一个参数，使函数的第一个参数h_A指向A的第0个元素。我们说A是通过引用vecAdd传递的。因此，函数主体中的h_A[i]可用于访问A[i]。
有关指针在C中的详细用法的易于遵循的解释，请参阅Patt&Patel [Patt]。

请注意，修订后的vecAdd函数本质上是一个外包代理，将输入数据传输到设备，激活设备上的计算，并从设备收集结果。代理这样做的方式是，主程序甚至不需要意识到矢量加法现在实际上是在设备上完成的。在实践中，由于所有数据的来回复制，这种“透明”的外包模式可能效率非常低。人们通常会在设备上保留重要的批量数据结构，并简单地从主机代码中在其上唤起设备功能。目前，我们将使用简化的透明模型，以引入基本的CUDA C程序结构。修订后的函数的细节，以及编写内核函数的方法，将在本章的其余部分中展示。