hinton

　　 在咨询了老师的建议后，最近开始着手深入的学习一下目标检测算法，结合这两天所查到的资料和个人的理解，准备大致将CNN目标检测的发展脉络理一理（暂时只讲CNN系列部分，YOLO和SSD，后面会抽空整理）。 　　目标检测的发展大致起始于2000年前后（具体我也没去深究，如果有误还请大佬们指正 ●ˇ∀ˇ● ），早期受限于算力，目标检测发展的不温不火，直到半导体技术的进步，以及Hinton团队的榜样作用，图像的目标检测才开始有了突飞猛进的发展。 　　就我个人理解，从2012年至今的目标检测的发展，并没有在算法上呈现出本质性的突破，更多的是将前人已经提出的算法/技巧，进行了巧妙的组合与优化，然后在高速设备上进行快速的验证与迭代，才有了目标检测如今繁荣的发展现状。（当然，也可能是因为小弟对学术界的发展所知甚少，而导致了一种以偏概全的理解🙃emm。。。） 　　接下来的几篇博客会按照 AlexNet --> R-CNN -->FastRCNN -->FasterRCNN --> MaskRCNN 的顺序来整理，今天的内容是ALexNet，因为我的目的在于简析目标检测发展脉络，把握算法的改进路线，所以不会特别详细的讲解算法原理（好吧，我就是懒的写怎么滴~(￣▽￣)~*），只挑与“改进/发展”相关的部分内容简析，以作为我对目标检测领域的综述性学习笔记。 AlexNet 　 　说起AlexNet

CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西有理论推导吗？有数学基础吗？搞得过SVM之类吗？回头来看，就算是真的，大牛们也确实不算无理取闹，是骡子是马拉出来遛遛，不要光提个概念。 时间终于到了2012年，Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70%多提升到80%多。个人觉得，当时最符合Hinton他们心境的歌非《我不做大哥好多年》莫属。 这个Deep Learning模型就是后来大名鼎鼎的AlexNet模型。这从天而降的AlexNet为何能耐如此之大？有三个很重要的原因： 大量数据，Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet； GPU，这种高度并行的计算神器确实助了洪荒之力，没有神器在手，Alex估计不敢搞太复杂的模型； 算法的改进，包括网络变深、数据增强、ReLU、Dropout等，这个后面后详细介绍。

Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络 朱晓霞 发表于 目标检测和深度学习 订阅 457 广告 关闭 11.11 智慧上云 云服务器企业新用户优先购，享双11同等价格 立即抢购 新智元报道 来源：arXiv 编译：肖琴、克雷格 【新智元导读】 深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMind等的研究人员提交的distillation的更进一步工作：通过online distillation进行大规模分布式神经网络训练。该工作提出了Codistillation的概念，通过大规模实验，发现codistillation方法提高了准确性并加快了训练速度，并且易于在实践中使用。 论文地址：https://arxiv.org/pdf/1804.03235.pdf 在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在 distillation 这一想法做了一些前沿工作，包括Distill the Knowledge in a Neural Network等。今天我们介绍的是Hinton作为作者之一，谷歌大脑

图书 深度学习 ，Yoshua Bengio，Ian Goodfellow，Aaron Courville，MIT Press，准备中。 评论文章 代表性学习：评论与新视角 ，Yoshua Bengio，Aaron Courville，Pascal Vincent，Arxiv，2012。 专题或评论文章 学习人工智能的深层架构 （基础和机器学习趋势，2009）。 深度机器学习 - 人工智能研究的新前沿 - Itamar Arel，Derek C. Rose和Thomas P. Karnowski 的 调查报告 。 格雷夫斯，答（2012年）。 用递归神经网络进行监督序列标记 （第385卷）。 斯普林格。 Schmidhuber，J.（2014）。 神经网络的深度学习：概述。 75页，850+参考文献， http： //arxiv.org/abs/1404.7828，PDF＆LATEX 源代码和 http://www.idsia.ch/~juergen/ deep-learning-overview.html 下的完整公共BIBTEX文件 。 LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。 自然 521，没有。 7553（2015）：436-444。 强化学习 Mnih，Volodymyr，Koray Kavukcuoglu，David

from： https://www.sohu.com/a/226611009_633698 天 来源 | 王的机器（公众号ID：MeanMachine1031） 0 引言 斯蒂文认为机器学习有时候像婴儿学习，特别是在物体识别上。比如婴儿首先学会识别边界和颜色，然后将这些信息用于识别形状和图形等更复杂的实体。比如在人脸识别上，他们学会从眼睛和嘴巴开始识别最终到整个面孔。当他们看一个人的形象时，他们大脑认出了两只眼睛，一只鼻子和一只嘴巴，当认出所有这些存在于脸上的实体，并且觉得“这看起来像一个人”。 斯蒂文首先给他的女儿悠悠看了以下图片，看她是否能自己学会认识图中的人(金・卡戴珊)。 斯蒂文接下来用几张图来考她： 悠悠 图中有两只眼睛一个鼻子一张嘴巴，图中的物体是个人。 斯蒂文 正确！ 悠悠 图中有两只眼睛一个鼻子一张嘴巴，图中的物体是个人。 斯蒂文 错误！嘴巴长到眼睛上还是个人吗？ 悠悠 图中有一大块都是黑色的，图中的物体好像是头发。 斯蒂文 错误！这只是把第一张图颠倒一下，怎么就变成头发了？ 斯蒂文很失望，觉得她第二、三张都应该答对，但是他对悠悠要求太高了，要知道现在深度学习里流行的卷积神经网络 (convolutional neural network, CNN) 给出的答案也和悠悠一样，如下： 第一张 CNN 给出的答案是人，概率为 0.88，正确；第二张 CNN