神经网络

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 作者：HUST小菜鸡 https://zhuanlan.zhihu.com/p/146130215 文仅交流，未经允许不得转载 之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制 一、注意力机制（attention mechanism） attention机制可以它认为是一种资源分配的机制，可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，attention所要分配的资源基本上就是权重了 视觉注意力分为几种，核心思想是基于原有的数据找到其之间的关联性，然后突出其某些重要特征，有通道注意力，像素注意力，多阶注意力等，也有把NLP中的自注意力引入。 二、自注意力（self-attention） 参考文献：Attention is All you Need 参考资料：https://zhuanlan.zhihu.com/p/48508221 GitHub：https://github.com/huggingface/transformers

⬆⬆⬆ 点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 论文：GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training 作者：Jiezhong Qiu，Qibin Chen，Yuxiao Dong，Jing Zhang，Hongxia Yang，Ming Ding，Kuansan Wang，Jie Tang 会议：In The 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD’20). 裘捷中 ， 清华大学计算机科学与技术系五年级博士生，导师为唐杰教授。研究兴趣主要包括图数据的算法设计和表示学习。他关于图表示学习的工作是WSDM‘18引用量最高的论文。 图表示学习目前受到了广泛关注，但目前绝大多数的图表示学习方法都是针对特定领域的图进行学习和建模，所产出的图神经网络难以迁移。近期，预训练在多个领域都取得了巨大的成功，显著地提升了模型在各大下游任务的表现。受到 BERT (Devlin et al., 2018)，MoCo (He et al., 2020) 等工作的启发，我们开始研究图神经网络的预训练，希望能够从中学习到通用的图拓扑结构特征。我们提出了 Graph Contrastive

通知：这篇文章有8篇论文速递信息，涉及目标识别、SLAM、3D Model、密集点集配准、立体匹配等方向（含6篇CVPR论文） 目标识别 [1]《Hierarchical Novelty Detection for Visual Object Recognition》 CVPR 2018 Abstract：深度神经网络在具有预定义类别的大规模视觉对象识别任务中取得了令人瞩目的成功。然而，在训练期间识别新类（即未被看见的对象）仍然具有挑战性。在文献中已经讨论了检测这种新类的问题，但是之前大多数工作都是提供简单的二元或回归决策，例如，输出将是“已知的”，“新颖的”或相应的置信区间。在本文中，我们研究更多的基于分层分类框架的信息新颖性检测方案。对于一个新类的对象，我们的目标是在已知类的分层分类中找到它最接近的超类。为此，我们提出了两种不同的方法，称为自顶向下和扁平化方法，以及它们的组合。我们方法的基本组成部分是置信度校正分类器，数据重新标记以及在分层分类法下对新类进行建模的“一次退出”策略。此外，我们的方法可以生成分层嵌入，结合其他常用的语义嵌入，可以提高广义零点学习性能。 arXiv： https://arxiv.org/abs/1804.00722 SLAM [2]《CodeSLAM - Learning a Compact, Optimisable Representation

通知：这篇文章有10篇论文速递信息，涉及Re-ID、深度估计、超分辨率、显著性检测、GAN、VOA和卷积神经网络综述等方向 往期回顾 [计算机视觉论文速递] 2018-03-30 TensorFlow和深度学习入门教程 你现在应该阅读的7本最好的深度学习书籍 Re-ID [1]《Pose-Driven Deep Models for Person Re-Identification》 Abstract：行人重识别（re-id）是识别和匹配不重叠视图的摄像机记录的不同位置人员的任务。re-id的主要挑战之一是人物姿态和摄像机角度的巨大差异，因为它们都不会受re-id系统的影响。在这项工作中，介绍了一种有效的方法来将粗略的相机视图信息和细粒度姿态信息整合到用于学习区分性重新嵌入的卷积神经网络（CNN）模型中。在最近的工作中，姿势信息或者在重新识别系统内被明确地建模，或者明确地用于预处理，例如通过姿势规范化人员图像。相反，所提出的方法表明，将相机视图以及检测到的身体关节位置直接用于标准CNN可以用于显著提高所学习的re-id嵌入的鲁棒性。在四个具有挑战性的监控和视频重新标识数据集上，已经实现了对当前技术水平的重大改进。此外，引入了MARS数据集的一种新的重新排序，称为X-MARS，以允许在轨迹数据上进行针对单图像重新识别训练的模型的交叉验证。 arXiv： https://arxiv

文章内容来源：https://blog.csdn.net/ZXQHBD/article/details/69389019 　　多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。 　　近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。 1 基本概念及融合原理 1.1多传感器数据融合概念 　　数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为

　　人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解，那么他们之间有什么样的联系啦？下面我们来看看： 人工智能：从概念提出到走向繁荣 　　1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念，梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还在同时存在。 　　2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。据领英近日发布的《全球AI领域人才报告》显示，截至2017年一季度，基于领英平台的全球AI（人工智能）领域技术人才数量超过190万，仅国内人工智能人才缺口达到500多万。 　　人工智能的研究领域也在不断扩大，图二展示了人工智能研究的各个分支，包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。 图二 人工智能研究分支 　

点击 我爱计算机视觉 标星，更快获取CVML新技术 本文转载自旷视研究院（megviir）。 ICCV 2019 论文如期发榜，旷视科技共有11篇论文被录取，涵盖通用物体检测及数据集、文字检测与识别、半监督学习、分割算法、视频分析、影像处理、行人及车辆再识别、模型压缩、度量学习、强化学习、元学习等众多领域。 本文把 11 篇论文汇在一起，逐篇做了亮点抢先解读。 1、论文名称： Objects365: A Large-scale, High-quality Dataset for Object Detection 论文链接：暂无 开源链接：https://www.objects365.org/overview.html 关键词：物体检测、数据集 在本文中，我们介绍了一个新的大型物体检测数据集Objects365，它有超过60万张图片，365个类别，超过1000万个高质量的边界框。 由精心设计的三步注释管道手动标记，它是迄今为止最大的物体检测数据集（带有完整注释），并为社区建立了更具挑战性的基准。 Objects365可以作为更好的特征学习数据集，用于目标检测和分割等定位敏感任务。Objects365预训练模型明显优于ImageNet预训练模型：在COCO上训练90K / 540K次迭代时AP提高了5.6（42 vs 36.4）/ 2.7（42 vs 39.3）。 同时

前面我们曾有篇文章中提到过关于用tensorflow训练手写28 28像素点的数字的识别，在那篇文章中我们把手写数字图像直接碾压成了一个784列的数据进行识别，但实际上，这个图像是28 28长宽结构的，我们这次使用CNN卷积神经网络来进行识别。 卷积神经网络我的理解是部分模仿了人眼的功能。 我们在看一个图像时不是一个像素点一个像素点去分辨的，我们的眼睛天然地具有大局观，我们看到某个图像时自动地会把其中的细节部分给聚合起来进行识别，相反，如果我们用个放大镜看到其中的各个像素点时反而不知道这是啥东西了。 因此卷积神经网络就把每个像素点的图像进行一定程度上的模糊化，而怎么进行模糊化呢？它是通过选择一小片的区域范围，把这小片中的图像数据缩小其长宽，但增加其高度值。然后进行某种计算，最终达到有点类似模糊化图像的目的，但这个模糊化的图像中反而能够比较容易识别出相应的边界及形状。 具体大家可以到网上搜索相关的理论知识，这里不细讲，只专注于如何在tensorflow中实现 CNN的功能。 之前在tensorflow分类-【老鱼学tensorflow】中已经用一般的神经网络进行过手写数字的识别，我们在那个程序的基础上来进行，那篇文章的地址为： http://www.cnblogs.com/dreampursuer/p/8026866.html import tensorflow as tf #

吴亚联 1 ， 梁坤鑫 1 ， 苏永新 1* ， 詹 俊 2 （1.湘潭大学 信息工程学院， 湖南 湘潭 411105； 2.湖南优利泰克自动化系统有限公司， 湖南 长沙 410205） 摘 要： 为提高风电机组部件故障预警的精度和速度， 文章提出了一种基于SCADA数据的风电机组部件故障预警方法， 用于解决现存的风电机组部件故障预警时间与故障预警精度的矛盾。 首先SCADA历史数据通过数据预处理与BP神经网络建立机组部件正常状态模型， 随后以该模型为基础结合基于马氏距离的数据统计方法形成故障预警判据， 并将结果反馈给SCADA系统达到风电机组部件故障预警目的。 仿真结果表明， 使用该方法能够提前2个月识别主轴承故障信号， 同时该方法能发现SCADA系统误报故障。 关键词： 神经网络； 故障诊断系统； 马氏距离； 风电场； SCADA系统 作为一种绿色无污染的新能源， 风能越来越受到重视，它将成为人类未来主要的能源资源 [1] 。 受复杂多变的环境因素影响， 风电机组各部件性能会在运行中逐渐下降， 最终导致部件发生故障。 而对风电机组部件进行故障预警则可提前发现隐患， 有利于优化维护计划， 避免因部件故障延误而导致更加严重的整机故障。 传统风电机组故障预警方法有振动分析、 声学分析、 润滑分析等， 这些方法需要采集高频率的振动数据或额外安装高成本附加设备或者传感器，

点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 论文题目：Faster R-CNN: T owards Real-Time Object Detection with Region Proposal Networks 论文链接：https://arxiv.org/abs/1506.01497 作者及单位 研究目标 Faster R-CNN是为了改进Fast R-CNN而提出来的。因为在Fast R-CNN文章中的测试时间是不包括search selective时间的，而在测试时很大的一部分时间要耗费在候选区域的提取上。所以作者提出了 RPN 来提取候选框，使时间大大的减少了。 Faster R—CNN网络介绍 Faster R—CNN结构 Faster R—CNN具体可分为四个结构： Conv layers：作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的 feature maps 。该feature maps被共享用于后续RPN层和全连接层。 Region Proposal Networks：RPN网络用于生成region proposals。该层通过softmax判断anchors属于 positive或者 negative，再利用bounding box