深度学习 推理引擎 个人小结
使用推理引擎测试网络的时候,个人觉得首先还是需要确定一下,你要测的网络结构推理引擎是否支持,新的网络结构从提出到推理引擎提供该网络结构的支持,中间需要很长一段时间,然后还需要确认GPU是否支持,需要确认对架构是否支持。个人在实际测得过程中,觉得挺麻烦的,有的CPU支持,GPU不支持,有的这个推理引擎支持,那个推理引擎不支持,有的推理引擎这个架构支持,那个架构不支持等等 MNN:阿里 介绍: https://www.jianshu.com/p/8a4c3e907c45 源码: https://github.com/alibaba/MNN/blob/master/README_CN.md op支持: https://github.com/alibaba/MNN/issues/74 mace:小米 源码: https://github.com/XiaoMi/mace/blob/master/README_zh.md op支持: https://mace.readthedocs.io/en/latest/user_guide/op_lists.html 只适用于移动端 NCNN:腾讯 未接触过 tensorRT: 安装指导: https://docs.nvidia.com/deeplearning/sdk/tensorrt-archived/tensorrt-601/tensorrt