imagenet

阿里妹导读：非结构化数据的内容占据了当前数据海洋的80%。换句话来说，就是我们都被“非结构化数据”包围了。由于非结构化数据的信息量和信息的重要程度很难被界定，因此对非结构化数据的使用成为了难点。如果说结构化数据用详实的方式记录了企业的生产交易活动，那么非结构化数据则是掌握企业命脉的关键内容，所反映的信息蕴含着诸多企业效益提高的机会。而对大部分组织而言，掌握先进的非结构化数据分析能力仍是从“大数据”中获得价值的重大挑战。 当前，数据技术及产品部对结构化数据处理和应用已经具备了成熟的技术以及产品方案。为了应对日益增长的非结构化数据诉求，非结构化数据体系通过覆盖非结构化数据规范、数据设计、算法能力、服务能力等来解决这一问题，该体系是对OneData体系的非结构化数据的补充和完善。已经赋能了集团内很多业务取得了非常好的效果，而这只是刚刚开始。 非结构化数据概述 “非结构化数据”是什么？相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。非结构化数据指的是：数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、 HTML、各类报表、图像和音频/视频信息等。 相对于结构化数据，非结构化数据具有以下特点：数据存储占比高、数据格式多样、结构不标准且复杂、信息量丰富、处理门槛高。

点击上方“ AI有道 ”，选择“星标”公众号 重磅干货，第一时间送达 来源 | 机器之心 Facebook AI 研究团队的何恺明等人提出了一种名为动量对比（MoCo）的无监督训练方法。 在 7 个与检测和分割相关的下游任务中，MoCo 可以超越在 ImageNet 上的监督学习结果，在某些情况下其表现甚至大大超越后者。 作者在摘要中写道： 「这表明，在许多视觉任务中，无监督和监督表征学习之间的差距已经在很大程度上被消除了。 」 论文链接： https://arxiv.org/pdf/1911.05722.pdf 无监督表征学习在自然语言处理领域非常成功，诞生了 GPT、BERT 等性能强大的模型。 但在计算机视觉领域，监督预训练一直是主流方法，无监督方法则被落在了后面。 这可能是因为它们对应的信号空间不同。 语言任务有着离散的信号空间（词等），可以用于构建成分词后的词典（dictionary）。 这种词典是无监督学习可以依赖的特征。 但是，计算机视觉与之相反，其原始信号是在一个连续且高维的空间中，无法成为结构化信号用于人类的交流。 在无监督的视觉表征学习上，近来的一些研究通过使用对比损失（constrative loss）的方法取得了不错的效果。 这些方法都可以被认为和动态词典（dynamic dictionary）相关。 在词典中，键（token）是通过从数据（如图像等

深度神经网络繁多，各自的性能指标怎样？ 实际应用中，在速度、内存、准确率等各种约束下，应该尝试哪些模型作为backbone？ 有paper对各个网络模型进行了对比分析，形成了一个看待所有主要模型的完整视角，其分析结果可以在实践中提供指导和帮助。 这篇博客主要整合了其中3篇文章的结论，分别是 201605-An Analysis of Deep Neural Network Models for Practical Applications 201809-Analysis of deep neural networks 201810-Benchmark Analysis of Representative Deep Neural Network Architectures 文章1和3是paper，2是篇博客（对1的更新）。这3篇文章对图像识别任务（ImageNet-1k）主要的state of the art网络进行了对比分析，采用的指标有： accuracy ，准确率，只使用cental crop，评估Top1、Top5在ImageNet-1k上的准确率 model complexity ，模型复杂度，通过模型的可学习参数量衡量（近似为模型文件大小），反映了自由度 computational complexity ，计算复杂度，操作次数，通过floating-point

上篇ZFNet的文章中我们简单的分享了一下ZFNet的网络结构和训练细节，这篇文章将分享ZFNet论文上的实验环节。ZFNet做了很多巧妙的实验，从这边文章中也可以看到未来深度网络发展方向的蛛丝马迹。 一、Experiments实验 1.ImageNet 2012 该数据集由1.3M / 50k / 100k的训练/验证/测试样例组成，分布在超过1000个类别中。 首先，使用（Krizhevsky等，2012）中指定的确切体系的模型，我们尝试在验证集上复制它们的结果。 1）我们在ImageNet 2012验证集，错误率达到其报告值的0.1％ 2）与作者给出的错误率很一致。以此作为参考标准。 我们用新修改的模型，分析性能，获得了不错的结果。 该模型显着地打败了（Krizhevsky等，2012）的架构，击败了他们的单个模型的结果1.7％（测试top 5的成绩）。 当我们组合多个模型时，我们获得了14.8％的测试误差，发布性能中最佳。 我们注意到，这个错误几乎是ImageNet 2012分类挑战中顶级成绩（使用非卷积网络）错误率的一半，它获得了26.2％的错误（Gunji et al，2012） 【上图解读】ImageNet 2012分类错误率。 *表示在ImageNet 2011和2012训练集上都训练过的模型。 2.不同的ImageNet模型尺寸 1.对AlexNet

YOLOv3原理 YOLO发展概述 2015 年，R-CNN 横空出世，目标检测 DL 世代大幕拉开。 各路豪杰快速迭代，陆续有了 SPP，fast，faster 版本，至 R-FCN，速度与精度齐飞，区域推荐类网络大放异彩。 奈何，未达实时检测之，难获工业应用之青睐。 此时，凭速度之长，网格类检测异军突起，先有 YOLO，继而 SSD，更是摘实时检测之桂冠，与区域推荐类二分天下。然却时遭世人诟病。 遂有 JR 一鼓作气，并 coco，推 v2，增加输出类别，成就 9000。此后一年，作者隐遁江湖，逍遥 twitter。偶获灵感，终推 v3，横扫武林！ YOLO不断吸收同化对手，进化自己，提升战斗力：YOLOv1 吸收了 SSD 的长处（加了 BN 层，扩大输入维度，使用了 Anchor，训练的时候数据增强），进化到了 YOLOv2； 吸收 DSSD 和 FPN 的长处，仿 ResNet 的 Darknet-53，仿 SqueezeNet 的纵横交叉网络，又进化到 YOLO 第三形态。 但是，我相信这一定不是最终形态。让我们拭目以待吧！ YOLO v1~v3的设计历程 Yolov1 这是继RCNN，fast-RCNN和faster-RCNN之后，rbg（RossGirshick）针对DL目标检测速度问题提出的另外一种框架。YOLO V1其增强版本GPU中能跑45fps

李飞飞和它的团队搜集了ImageNet一个超过15 million的图像数据集，大约有22,000类。这个文件集合对深度卷积网络极大地推进深度学习各领域的发展. ILSVRC是对ImageNet进行分类,检测,定位的比赛,作为最具影响力的竞赛它的作用功不可没，从中也促使了许多经典工作。 ImageNet的定位结果 年 网络/队名 val top-5 test top-5 备注 2012 AlexNet 34.19% 多伦多大学Hinton和他学生 2012 AlexNet 33.55% 用了2011年的数据 2013 OverFeat 30.0% 29.87% 纽约大学Lecun团队 2014 GoogleNet 26.44% 谷歌 2014 VGG 26.9% 25.32% 牛津大学 2015 ResNet 8.9% 9.02% 微软 2016 Trimps-Soushen 7.71% 公安三所，以Inception, resNet, WRN等为基础 2017 DPN 6.23% 新加坡国立大学与奇虎360 ImageNet的检测结果 年 网络/队名 mAP(%) 备注 2013 OverFeat 19.40 使用了12年的分类数据预训练 2013 UvA 22.58 2013 OverFeat 24.3 赛后。使用了12年的分类数据预训练 2014 GoogleNet 43

这篇论文提出了AlexNet，奠定了深度学习在CV领域中的地位。 1. ReLu激活函数 2. Dropout 3. 数据增强 减小过拟合(Reducing Overfitting) 动机： 由于整个网络拥有6000万个参数；尽管ILSVRC的1000个类使得每个训练示例对从图像到标签的映射施加10位约束，十分有必要去考虑过拟合的问题。 数据扩充(Data Augmentation) 图像数据扩充，即人工的扩大数据集， 是减小过拟合现象最简单和常用的方法，作者使用两者不同的数据扩充方法： --第一种形式是包括生成图像平移和水平反射，具体的，他们从256*256的图像种随机抽取了224*224的图像patch用于训练，这将我们的训练集的大小增加了2048倍，尽管由此产生的训练示例当然是高度相互依赖的。 来源： https://www.cnblogs.com/ChenKe-cheng/p/11371858.html