tensorrt

作者： 江大白 知乎链接： https://zhuanlan.zhihu.com/p/143747206 本文仅供学习参考，如有侵权，请联系删除！ 文章目录 1. 论文汇总 2. Yolov3核心基础内容 2.1 网络结构可视化 2.2 网络结构图 2.3 核心基础内容 3. Yolov3相关代码 3.1 python代码 3.2 C++代码内容 3.3 python版本的Tensorrt代码 3.4 C++版本的Tensorrt代码 4. Yolov4核心基础内容 4.1 网络结构可视化 4.2 网络结构图 4.3 核心基础内容 4.3.1 输入端创新 4.3.2 Backbone创新 4.3.3 Neck创新 4.4.4 Prediction创新 5. Yolov4相关代码 5.1 python代码 5.2 C++代码 1.论文汇总 Yolov3论文名：《Yolov3: An Incremental Improvement》 Yolov3论文地址：https://arxiv.org/pdf/1804.02767.pdf Yolov4论文名：《Yolov4: Optimal Speed and Accuracy of Object Detection》 Yolov4论文地址：https://arxiv.org/pdf/2004.10934.pdf 2.YoloV3核心基础内容 2

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点：一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理，达到性能和计算量之间的平衡；二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错，代码将在文章被收录后开源，值得关注。 论文地址 ：http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要，然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限，这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作，这些操作非常昂贵且难以针对嵌入式平台进行优化。因此，它们不适用于带有嵌入式系统的实时场景下应用。作为替代， 基于投影的方法更有效并且可以在嵌入式平台上运行。但是，当前基于投影的最新方法无法实现与基于点的方法相同的精度，并且需要使用数百万个参数。 因此，在本文中， 提出了一种基于投影的方法，称为Multi-scale Interaction Network（MINet） ，该方法有效且准确，具体而言网络使用具有不同尺度的多个通路，并且在不同尺度之间对计算资源进行平衡，同时不同尺度之间的额外密集交互可避免冗余计算，并使网络高效。所提出的网络在准确性

图形处理器通用计算(GPGPU)是指利用 GPU 来计算原本由 CPU 处理的通用计算任务。由于现代 GPU 拥有强大的并行处理能力，通用 GPU 在面对矩阵乘法、卷积等大量并行的计算密集型算法时，性能远远超越了传统的 CPU。CUDA 是由 NVIDIA 推出的 GPGPU 高性能计算方案，目前大多数深度学习推理任务都可以通过 CUDA 来进行加速。 为了充分发挥 CUDA 平台的计算能力，NVIDIA 推出了高度优化的深度学习、线性代数算子库 cudnn、cublas、cutlass，以及 CUDA 平台上的深度学习推理框架 TensorRT。 cudnn、cublas 这样的基础算子原语库在常见的卷积层上性能表现很好，通常都能够满足用户的需求，但是在面对用户高度定制化的算法时，基础算子库往往并不能充分发挥硬件的性能。这是由于算子优化的长尾问题引起的，基础算子库引入了许多卷积优化的通用策略，但是这些优化的策略并不能覆盖所有的情况，实际算法中的卷积层有可能并不能从通用的优化策略中获得收益，从而无法充分发挥硬件的性能。 基础算子库的另一个问题是用户无法对这些基础算子进行定制化开发，当算法开发人员想为卷积算子添加一种新的激活函数，或者想添加一种特殊的卷积算子(比如：LocalConv)时，就会变得束手无策。 cutlass 是 NVIDIA 推出的一款线性代数模板库

随着深度学习技术的成熟和人工智能的发展，机器开始变得越来越“聪明”，越来越了解用户的喜好和习惯。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 近年来对于NLP的研究也在日新月异的变化，有趣的任务和算法更是层出不穷，百度提出知识增强的语义表示模型 ERNIE 就是其中的佼佼者。 ERNIE 在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等各类NLP中文任务上的模型效果 全面超越 Bert ，成为NLP中文任务中的主流模型， ERNIE 2.0的论文（https://arxiv.org/abs/1907.12412）也被国际人工智能顶级学术会议AAAI-2020收录。 然而在模型效果大幅度提升的同时，模型的计算复杂性也大大增加，这使得 ERNIE 在推理部署时出现延时高，推理速度不理想 的情况，给产业实践带来了极大的挑战。 ​ 飞桨 开源框架1.8版本中， Paddle Inference在算子融合、TensorRT子图集成和半精度浮点数（Float 16）加速

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点：一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理，达到性能和计算量之间的平衡；二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错，代码将在文章被收录后开源，值得关注。 论文地址 ：http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要，然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限，这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作，这些操作非常昂贵且难以针对嵌入式平台进行优化。因此，它们不适用于带有嵌入式系统的实时场景下应用。作为替代， 基于投影的方法更有效并且可以在嵌入式平台上运行。但是，当前基于投影的最新方法无法实现与基于点的方法相同的精度，并且需要使用数百万个参数。 因此，在本文中， 提出了一种基于投影的方法，称为Multi-scale Interaction Network（MINet） ，该方法有效且准确，具体而言网络使用具有不同尺度的多个通路，并且在不同尺度之间对计算资源进行平衡，同时不同尺度之间的额外密集交互可避免冗余计算，并使网络高效。所提出的网络在准确性