CVPR 2020 | CMU & HKUST提出binary网络自动化搜索,同时实现超高压缩与高精度
这项工作由卡内基梅隆大学,香港科技大学合作完成,目的是通过网络自动化搜索,找到在已知网络的权重(weight)和激活值(activation)都为二值化{-1,+1}的情况下,搜索最能充分利用二值化卷机层的表达能力的网络结构。 该工作是第一篇在 depth-wise 的卷积中通过搜索 group conv 来实现网络二值化的算法。 实验结果表明,本方法能取得和接近 XNOR-Net 的精度,而所需的 FLOPs 仅约为 XNOR-Net 的 1/5。借助于 Matrix 层面的参数共享机制,整个搜索过程只需要~30 GPU hours。 论文标题: Binarizing MobileNet via Evolution-based Searching 论文来源: CVPR 2020 论文链接: https://arxiv.org/abs/2005.06305 介绍 深度卷积神经网络(CNN)量化是一种常用的网络压缩方法,而网络二值化是极端情况下的量化,即每个 weight 和 activation 仅用 -1 或 +1 表示。 一方面,在这种极端压缩的情况下,网络的表达能力会受到非常大的限制。另一方面,近来越来越多的学者以及工程师更加关心如何压缩哪些原本就经过了紧凑型网络设计的小网络,如 MobileNet。这就给网络量化提出了新的挑战。 为了应对这一挑战,本文从 MobileNet