基于层级表达的高效网络搜索方法 | ICLR 2018
论文基于层级表达提出高效的进化算法来进行神经网络结构搜索,通过层层堆叠来构建强大的卷积结构。论文的搜索方法简单,从实验结果看来,达到很不错的准确率,值得学习 来源:【晓飞的算法工程笔记】 公众号 论文: Hierarchical Representations for Efficient Architecture Search 论文地址: https://arxiv.org/abs/1711.00436 Introduction 由于网络的验证需要耗费很长的时间,神经网络结构搜索计算量非常巨大,很多研究通过降低搜索空间的复杂度来提高搜索的效率。论文通过加入分层网络结构来约束搜索空间,在最初几层仅使用卷积和池化等简单操作,逐步到高层将底层的block进行组合搭建,最后将最高层的block堆叠成最终的网络。由于搜索空间设计够好,网络的搜索方法仅用进化算法或随机搜索足以。 论文总结如下: 提出对神经网络结构的层级表达 通过实验证明搜索空间的设计十分重要,可以降低搜索方法的投入,甚至随机搜索也可以 提出可扩展的进化搜索方法,对比其它进化搜索方法有更好的结果 Architecture Representations Flat Architecture Representation 将神经网络结构定义为单输入、单输出的计算图,图中每个节点代表特征图,每条有向边为基本操作(卷积