【TensorRT】DeviceToHost同步与异步拷贝的区别及带来的问题

发布时间:2024年01月17日

cudaMemcpy与cudaMemcpyAsync的区别

一、认识stream流

在cuda中,一个stream是由主机代码发布的一系列在设备上执行的操作,是严格保序执行的。不同streams里面的操作可以交叉执行或者并发执行。
如果我们有多个核函数,并且我们创建了一个stream,那么这些核函数在stream中都是串行执行的,但是如果我们需要并发执行,可以开启多个stream。多个stream之间是并发执行的,每个stream中是串行执行的。

二、tensorRT推理的常规流程

  1. 创建一个cuda stream流 ,将我们的主机所定义的运算操作,下放给cuda中的stream进行执行,读取模型,创建可以执行的上下文context;
  2. 将输入传给主机指针host_ptr,然后将主机指针copy到cuda上的指针(HostToDevice);
  3. 定义好输入输出节点的指针,并初始化一个bindings[]存放输入输出节点的指针(device),然后执行推理,device会自动将推理结果保存在我们定义好的device输出节点指针;
  4. 将输出节点的指针指向的内容,拷贝给主机上定义好的输出指针(DeviceToHost),然后将指针指向的内容通过mat,然后经过后处理可视化;
  5. 在不做特殊处理和不使用cudaMemcpyAsync()来进行拷贝的情况下,CUDA会默认只使用一个stream,在这种情况下,以上的推理步骤将串行处理。

三、遇到的问题

使用tensorRT推理MaskRCNN时,在执行推理完毕后,将device的指针指向的内容拷贝给host的指针时,如果此时使用cudaMemcpyAsync来进行拷贝,会随机的出现推理结果错乱的问题(观察后发现即上一张推理的结果,会在第二张的输入上呈现)。此时我们使用cudaMemcpy来进行同步拷贝,该问题解决。

四、引用与参考文献

引用:
[1]: cudaMemcpy与cudaMemcpyAsync的区别
[2]: 测试命题 cuda kernel 和 cudaMemcpy 是异步执行

文章来源:https://blog.csdn.net/ycx_ccc/article/details/135594554
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。