python使用TensorRT报错，多线程或多进程中使用问题

主要

遇到的问题

运行代码，会出现各种cuda错误，cuda runtime问题

[09/05/2024-10:07:28] [TRT] [E] 1: [pointWiseV2Helpers.cpp::cuPointwiseV2::launchPwgenKernel::267] Error Code 1: Cuda Driver (invalid resource handle)

原因

代码中使用了多个cuda，互相之间影响，也或许是多进程之间的调度问题

解决方法1

在我的项目中，我发现在类的__init__初始化中最上层加入以下，即可解决

self.cuda_ctx = pycuda.autoinit.context

或者是用以下代码：

self.cfx = cuda.Device(0).make_context()

我的代码中，单纯使用以上即可解决报错

解决方法2

‘还是使用这个’

self.cfx = cuda.Device(0).make_context()

此外还需要在推理函数（inference）的首行添加如下代码：

self.cfx.push()

(3) 最后还要在所有关于TensorRT操作结束后加上：

self.cfx.pop()