Swish

YOLO之父Joseph Redmon在今年年初宣布退出计算机视觉的研究的时候，很多人都以为目标检测神器YOLO系列就此终结。然而在4月23日，继任者YOLO V4却悄无声息地来了。Alexey Bochkovskiy发表了一篇名为YOLOV4: Optimal Speed and Accuracy of Object Detection的文章。YOLO V4是YOLO系列一个重大的更新，其在COCO数据集上的平均精度(AP)和帧率精度(FPS)分别提高了10% 和12%，并得到了Joseph Redmon的官方认可，被认为是当前最强的实时对象检测模型之一。 正当计算机视觉的从业者们正在努力研究YOLO V4的时候，万万没想到，有牛人不服。6月25日，Ultralytics发布了YOLOV5 的第一个正式版本，其性能与YOLO V4不相伯仲，同样也是现今最先进的对象检测技术，并在推理速度上是目前最强。 从上图的结果可以看出，YOLO V5确实在对象检测方面的表现非常出色，尤其是YOLO V5s 模型140FPS的推理速度非常惊艳。 YOLO V5和V4集中出现让很多人都感到疑惑，一是YOLO V5真的有资格能被称作新一代YOLO吗？二是YOLO V5的性能与V4相比究竟如何，两者有啥区别及相似之处？ 在本文中我会详细介绍YOLO V5和YOLO V4的原理，技术区别及相似之处

LSQ+: Improving low-bit quantization through learnable offsets and better initialization from Qualcomn AI Research | Seoul National University CVPR2020 LSQ+：通过学习偏移和更好的初始化改进LSQ Abstract 新的激活函数，如Swish，Mish不像ReLU只有非负值，而是有正有负，而传统的无符号量化策略会将所有负的激活值量化为0，从而导致性能的显著下降；如果为了对负激活值也进行量化就需要增加额外的符号位，在低比特量化（2、3、4bit)中代价太大了。 

为了解决这一问题，本文基于LSQ提出了改进版的LSQ+，通过引入一种通用的非对称的量化策略，通过训练学习缩放尺度scale和偏移参数offset，从而解决负激活值的量化问题；另一方面基于梯度学习的量化方案训练过程通常不稳定，因此需要调整大量的超参数才能达到较好的性能，LSQ+通过对待量化的参数使用MSE初始化策略有效缓解了这一问题，使得多次训练结果的差异波动明显降低。 


在EfficientNet和MixNet上使用LSQ+的量化策略的表现要优于Swish激活的LSQ低比特量化，比如EfficientNet的W4A4量化精度提升1.8%

今天刷看到了YOLOv4之时，有点激动和兴奋，等了很久的YOLOv4，你终究还是出现了 论文地址： https://arxiv.org/pdf/2004.10934.pdf GitHub地址： https://github.com/AlexeyAB/darknet 觉得作者很地道，论文附上开源，没有比这更开心的事情了吧！ 首先附上对论文总结的思维导图，帮助大家更好的理解！ 下边是对论文的翻译，有些地方可能翻译的不是很准备，欢迎指正补充 （思维导图和论文译文PDF均可在公众号【计算机视觉联盟】回复YOLOv4获取） 摘要 有很多特征可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并需要对结果进行理论证明。某些特征仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小型数据集上运行；而某些特征（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们假设此类通用特征包括加权残差连接（WRC），跨阶段部分连接（CSP），交叉小批量标准化（CmBN），自对抗训练（SAT）和Mish激活。我们使用以下新功能：WRC，CSP，CmBN，SAT，Mish激活，马赛克数据增强，CmBN，DropBlock正则化和CIoU丢失，并结合其中的一些特征来实现最新的结果： 在MS COCO数据集上利用Tesla V10以65 FPS的实时速度获得了43.5

ResNeSt是亚马逊的李沐团队的paper，最近在各个任务上刷榜了，但却 被ECCV2020 strong reject了， 在知乎上也是引起了热议，据李沐说这个 网络花了一百万刀！我看完 以后感觉是ResNeXt + SKNet的组合，训练网络的很多tricks在工程上还是很有意义 的。 讨论： https://www.zhihu.com/question/388637660 ResNeXt 何凯明团队提出，非常的简单：将resnet中3*3的卷积，替换为分组卷积。然后就 没有了。。。。说实话就这个点换我是发不出来paper的，可见讲好故事有多重要。 论文里增加了一个cardinality（就是group），并讨论了相较于增加网络的宽度 和深度，简单的增加group会更好。一句话就是，split-transform-merge。 网络结构如图 实现就更简洁了 https://github.com/weiaicunzai/pytorch-cifar100/blob/master/models/resnext.py C = CARDINALITY # How many groups a feature map was splitted into # """We note that the input/output width of the template is fixed as

论文连接： https://arxiv.org/abs/2004.10934 翻译的很多都是直译的，不准的地方请欢迎大佬指正 摘要 有许多功能可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。一些功能仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小规模数据集上运行； 而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们假设此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自对抗训练（SAT）和Mish激活函数。我们使用以下新功能：WRC，CSP，CmBN，SAT，Mish激活，Mosaic数据增强，CmBN，DropBlock正则化和CIoU_loss，并结合使用其中的一些功能以实现最新的结果：43.5％的AP（65.7 在Tesla V100上，MS COCO数据集的实时速度约为65 FPS。源代码位于 https://github.com/AlexeyAB/darknet 。 Introduction 大多数基于CNN的物体检测器仅适用于推荐系统。例如，通过慢速精确模型执行通过城市摄像机搜索空闲停车位的过程，而汽车碰撞警告则与快速不准确的模型有关。提高实时物体检测器的准确性，不仅可以将它们用于生成推荐系统，还可以用于独立的流程管理并能减少人工输入

论文地址和代码 https://arxiv.org/abs/2004.10934v1 代码： https://github.com/AlexeyAB/darknet 摘要： 据说有许多功能可以提高卷积神经网络（CNN）的准确性。 需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。 某些功能仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小型数据集上运行； 而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。 我们假设此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自对抗训练（SAT）和Mish激活。 我们使用以下新功能：WRC，CSP，CmBN，SAT，Mish激活，马赛克数据增强，CmBN，DropBlock正则化和CIoU丢失，并结合其中的一些功能来实现最新的结果：43.5％的AP（65.7 在Tesla V100上，MS COCO数据集的实时速度约为65 FPS。 核心中的核心：作者将Weighted-Residual-Connections(WRC), Cross-Stage-Partial-connections(CSP), Cross mini-Batch Normalization(CmBN), Self-adversarial-training(SAT)，Mish

(转载请注明出处哦~) 参考链接： 1. 误差函数的wiki百科： https://zh.wikipedia.org/wiki/%E8%AF%AF%E5%B7%AE%E5%87%BD%E6%95%B0 2. 正态分布的博客： https://blog.csdn.net/hhaowang/article/details/83898881 3. StackExchange Mathematics: Why the error function is so similar to the hyperbolic tangent? https://math.stackexchange.com/questions/1892553/why-the-error-function-is-so-similar-to-the-hyperbolic-tangent 4. WolframAlpha: y = tanh(x) - \int_{0}^{x}e^{-t^{2}}dt https://www.wolframalpha.com/input/?i=y+%3D+tanh(x)+-+%5Cint_%7B0%7D%5E%7Bx%7De%5E%7B-t%5E%7B2%7D%7Ddt 前导知识：正态分布(section 1)，误差函数(section 2)，ReLU，ELU, dropout, zoneout. 5