模型加速

TensorRT-Plugin编写

1 TensorRT Plugin 初识实现原生不支持的算子是 Plugin 最基础的能力，当然它还可以做更多事情，比如手动融合 TensorRT 没有自动融合的层或块。总结来说，TensorRT Plugin 的功能主要有以下几点： (1) 实现 TensorRT 原生不支持…

极智AI | 解读深度学习PTQ后量化算法系列

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍一下解读深度学习PTQ后量化算法系列。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq 之前陆续输出过一些 PTQ 后量化…

『模型部署』神经网络模型部署[运行时|指令执行|处理器架构|TensorRT]

『模型部署』神经网络模型部署[运行时|指令执行|处理器架构|TensorRT] 文章目录一. 神经网络部署1.1. 程序语言运行时(Runtime)1.2. C++运行时(Runtime) 与 C++ 标准1.3. 神经网络运行时(Runtime)1.4. 神经网络表示1.5. 神经网络部署&例子二. TensorRT教程2.1. 前置条件-计…