TensorRT 的 C++ API 使用详解
原文链接:https://blog.csdn.net/u010552731/article/details/89501819 1. TensorRT 的 C++ API 使用示例 进行推理,需要先创建IExecutionContext对象,要创建这个对象,就需要先创建一个ICudaEngine的对象(engine)。 两种创建engine的方式: 使用模型文件创建engine,并可把创建的engine序列化后存储到硬盘以便后面直接使用; 使用之前已经序列化存储的engine,这种方式比较高效些,因为解析模型并生成engine还是挺慢的。 无论哪种方式,都需要创建一个全局的iLogger对象,并被用来作为很多TensorRT API方法的参数使用。如下是一个logger创建示例: class Logger : public ILogger { void log(Severity severity, const char* msg) override { // suppress info-level messages if (severity != Severity::kINFO) std::cout << msg << std::endl; } } gLogger; 2. 用 C++ API 创建TensorRT网络 2.1. 使用 C++ 的 parser API 导入模型 1.