2.6 KERNEL LAUNCH

图2.15在vecAdd函数中显示最终主机代码。此源代码完成了图2.6.中的骨架。2.12和2.15共同说明了一个简单的CUDA程序，该程序由主机代码和设备内核组成。该代码是硬接的，每个线程块使用256个线程。然而，使用的线程块的数量取决于向量（n）的长度。如果n为750，将使用三个线程块。如果n为4000，将使用16个线程块。如果n是2,000,000，将使用7813个区块。请注意，所有线程块都在矢量的不同部分上运行。它们可以以任何任意顺序执行。程序员不得对执行顺序做出任何假设。具有少量执行资源的小型GPU只能并行执行其中一两个线程块。较大的GPU可以并行执行64或128个块。这为CUDA内核提供了硬件执行速度的可扩展性，也就是说，相同的代码在小型GPU上以较低的速度运行，并且在较大的GPU上速度更高。我们将在稍后的第3章“可扩展并行执行”中重温这一点。

重要的是要再次指出，使用向量加法示例是为了它的简单性。在实践中，分配设备内存、从主机到设备的输入数据传输、从设备到主机的输出数据传输以及取消分配设备内存的开销可能会使生成的代码比图2.5中的原始顺序代码慢。这是因为与处理的数据量相比，内核完成的计算量很小。对两个浮点输入操作数和一个浮点输出操作数只执行一个加法。真正的应用程序通常有内核，与处理的数据量相比，需要更多的工作，这使得额外的开销是值得的。他们还倾向于通过多个内核调用将数据保留在设备内存中，以便开销可以摊销。我们将举几个此类应用程序的例子。