神经网络

我爱计算机视觉曾经两次报道HRNet： 1. CVPR2019 | 微软、中科大开源基于深度高分辨表示学习的姿态估计算法 （ 论文出来第二天就向大家推送解读了 ） 2. 分割、检测与定位，高分辨率网络显神威！这会是席卷深度学习的通用结构吗？ （HRNet扩展版应用） 事实证明该论文的确影响力很大，已经出现了基于HRNet的工作发布于arXiv。 本文来自 微软研究院AI头条，为论文第一作者自己的解读，希望对大家有帮助。 编者按： 对于视觉识别中的区域层次和像素层次问题，分类网络（如ResNet、VGGNet等）学到的表征分辨率比较低，在此基础上恢复的高分辨率表征空间区分度仍然不够强，使其在对空间精度敏感的任务上很难取得准确的预测结果。为此，微软亚洲研究院视觉计算组提出高分辨率深度神经网络（HRNet），对网络结构做了基础性的改变，由传统的串行连接高低分辨率卷积，改成并行连接高低分辨率卷积，通过全程保持高分辨率和对高低分辨率表征的多次信息交换来学到丰富的高分辨率表征，在多个数据集的人体姿态估计任务中取得了最佳的性能。 前言 视觉识别主要包括三大类问题：图像层次（图像分类），区域层次（目标检测）和像素层次（比如图像分割、人体姿态估计和人脸对齐等）。最近几年，用于图像分类的卷积神经网络成为解决视觉识别问题的标准结构，比如图1所示的LeNet-5

来源：www.lovehhy.net 神经架构搜索（NAS）是当前深度学习最热门的话题之一。 什么是NAS方法呢？ 从概念上讲，NAS方法专注于为给定问题和数据集找到合适的神经网络体系结构。不妨将这个方法理解为使机器学习架构本身成为机器来学习问题。近年来，NAS技术的数量激增，并且正在更多主流的深度学习框架和平台得到应用。但是，第一代NAS模型在经历神经网络域名变更时遇到了许多困难。因此，寻找新的NAS技术极有可能会继续推动该领域的深层次创新。 来源：www.raincent.com 最近，微软研究院推出了Petridish，一种优化神经网络结构选择的NAS算法。 之所以开发NAS，是因为神经网络的设计过程相当消耗资源。在当前的深度学习生态系统中，借助于知名的，性能一流的网络，数据集可能与之前已被证实的网络所遇到的完全不同，几乎没什么保证。在许多情况下，NAS方法通常需要数百天才能找到好的架构，并且效果几乎很难比随机搜索好。机器学习中还有一个类似于NAS技术挑战的问题：特征选择。 就像NAS方法一样，特征选择算法需要为给定特定数据集的模型提取相关特征。显然，选择特征比神经网络体系结构要简单得多，但是特征选择技术的许多原理为Petridish团队提供了灵感。 获取经验的方式：NAS的简要历史 鉴于NAS方法最近的热度，许多人可能认为NAS是一门新兴学科。 毫无疑问，自2016年以来

背景 近几年以深度学习技术为核心的人工智能得到广泛的关注，无论是学术界还是工业界，它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累、计算能力的提升和算法模型的改进。本文主要介绍深度学习技术在文本领域的应用，文本领域大致可分为4个维度：词、句子、篇章、系统级应用。 词。分词方面，从最经典的前后向匹配到条件随机场（Conditional Random Field，CRF）序列标注，到现在Bi-LSTM+CRF模型，已经不需要设计特征，从字粒度就能做到最好的序列标注效果，并且可以推广到文本中序列标注问题上，比如词性标注和专门识别等。 句子。Parser方面，除词粒度介绍的深度学习序列标注外，还可以使用深度学习模型改善Shift-Reduce中间分类判断效果；句子生成方面，可以通过序列到序列（Seq2Seq）模型训练自动的句子生成器，可用于闲聊或者句子改写等场景。 篇章。情感分析方面，可以使用卷积神经网络对输入文本直接建模预测情感标签；阅读理解方面，可以设计具有记忆功能的循环神经网络来做阅读理解，这个也是近年非常热的研究问题。 系统级应用。信息检索方面，把深度学习技术用在文本匹配做相似度计算，可以通过BOW、卷积神经网络或循环神经网络表示再学习匹配关系（如DSSM系列），还有使用DNN做排序模型（如Google的Wide & Deep等，后面会重点介绍）

环境 　　虚拟机：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客户端：Xshell4 　　FTP：Xftp4 　　jdk8 　　hadoop-3.1.1 由于NameNode对于整个HDFS集群重要性，为避免NameNode单点故障，在集群里创建2个或以上NameNode（不要超过5个），保证高可用。 实现主备NameNode需要解决的问题： 1、通过JournalNodes来保证Active NN与Standby NN之间的元数据同步 2、通过ZKFC来保证Active NN与Standby NN主备切换 3、DataNode会同时向Active NN与Standby NN上报数据块的位置信息 参考： hdfs HA原理及安装 Hadoop组件之-HDFS(HA实现细节) HDFS HA: 高可靠性分布式存储系统解决方案的历史演进 搭建HA集群部署节点清单： 一、平台软件环境 1、平台：GNU/Linux 2、软件：jdk+免密登录 3、JAVA和Hadoop环境变量以及主机名设置 参考： 【Hadoop学习之三】Hadoop全分布式安装 二、配置（node1-node4采用相同配置） 1、hadoop-env.sh export JAVA_HOME=/usr/local/jdk1. 8 .0_65 export HDFS_NAMENODE

⬆⬆⬆ 点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 12月9日晚7:30-8:30 AI TIME特别邀请了2位优秀的讲者跟大家共同开启NeurlPS 2020专场一！ 哔哩哔哩直播通道 扫码 关注AITIME哔哩哔哩官方账号 观看直播 链接： https://live.bilibili.com/21813994 ★ 邀请嘉宾 ★ 坑易澎： 清华大学交叉信息研究院博士生，导师是Gerard de Melo教授。主要研究方向是自然语言处理。 报告题目： 将语用学推理融合进语言涌现 摘要： 语言涌现和语用学是两个语言学分支，它们从不同的时间尺度和智能层级研究语言交流这个动态系统。从多体强化学习的角度看，它们分别相当于随机博弈和阶段博弈。我们的工作将二者的计算模型结合起来，分别在两个不同的场景（即物体指代游戏和星际争霸2）里，评估了将不同语用推理模型融合进涌现的语言系统所带来的额外好处。结果表明这种融合带来了更自然流畅、精确、鲁棒、精细化和简洁的表达方式。 周易： 本科和硕士毕业于上海交通大学，导师是肖双九，2020年博士毕业于南加州大学，导师是黎颢（Hao Li）。主要研究3D虚拟人类合成。现就职于Adobe Research。 报告题目： 设计一个适合三维网格重建的卷积神经网络 摘要： 三维网格广泛应用于几何建模和动画渲染中。在许多场景下

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 12月18日晚8:00-9:00 AI TIME特别邀请了2位优秀的讲者跟大家共同开启NeurIPS 2020专场四！ 哔哩哔哩直播通道 扫码 关注AITIME哔哩哔哩官方账号 观看直播 链接： https://live.bilibili.com/21813994 ★ 邀请嘉宾 ★ 朱时超： 本科毕业于哈尔滨工业大学，现为中国科学院大学博士四年级在读学生，导师为王斌，指导老师为周川和潘世瑞，主要研究方向为图神经网络和异质图表示学习的理论研究及其应用。 报告题目： 图几何交互学习 摘要： 图几何交互学习GIL首次打破几何空间特征嵌入的壁垒，将图神经网络拓展到欧氏空间和双曲空间进行交互学习，综合利用双曲和欧几里得拓扑特征的几何表示学习方法。GIL针对不同的几何图派生出一种新颖的距离感知传播和交互学习方案，并以自适应的方式为每个节点的不同几何嵌入分配不同的重要性权重。我们的方法在节点分类和链接预测任务的五个基准测试中取得了最先进的性能，大量的理论推导和实验分析也验证了GIL方法的有效性。 韩东起： 本科毕业于中国科学技术大学物理系，现为Cognitive Neurorobotics Research Unit, Okinawa Institute of Science and Technology (OIST) 的PhD

来源：AI科技评论 作者：耳洞打三金 本文 约6200字 ，建议阅读 15 分钟 是牛or鲨鱼？ 看到封面和标题，PA的一下我就点进来了，很快啊...... 大家好我是三金，求大家快来帮帮我 ！ 我和编辑部的同事因为上图到底是牛还是鲨吵了起来 ，我说这张图更像 ，同事说更像 ，我们差点儿就GAN了一架！ 现求大家来评评理这到底是牛还是鲨 ...... 案发当天是这样的： 一个下午，风和日丽，诚诚恳恳、兢兢业业的我，在完成当天的文章之后，趁老板不注意于是开始偷偷上班摸 ，那摸的叫一个开心啊，真是大呼直爽。 我就刷推特，一直刷一直刷，我一不小心就把推特刷到了11月29日（注意哈案发当天是12月10日），突然我刷到一张图片： 我看到这张图就不禁大笑了起来： 旁边同事问我怎么发生肾么事了，我当时看的投入就敷衍了一句说没啥，刚刚想起了开心的事情。 我接着往下看，发现有一位身在法国的奥地利AI研究科学家，一位老同志，名叫Christian Wolf，他闲来无事，把上面的这张不只是牛还是鲨的图片喂给了在pytorch上经过ImageNet数据集预训练的ResNet-101模型，结果AI识别Top 5结果显示如下： 虎鲨：23%、双髻鲨（又称锤头鲨）：21% 、大白鲨：16%、长嘴硬鳞鱼（又称雀鳝）：11%、鲟：3%...... Christian Wolf说自己得到了一个结论： 外形>[纹理

迁移学习中，大多数关于领域自适应(DA)的研究都集中于如何减小领域间分布的差异。已有的方法绝大多数都围绕着设计更好的分布度量差异来进行迁移；从另一个角度来看，什么样的 网络结构 适合做领域自适应呢？ 本文作者 朱勇椿 ，中国科学院计算技术研究所博士生，研究方向为数据挖掘和迁移学习。 本期我们从深度神经网络的机构出发，为大家介绍一种适合领域自适应的结构： 多表示的领域自适应 (Multi-representation Adaptation Network, MRAN) 。这篇文章提出一个简单却有效的方法：在 多个 表示空间中进行领域自适应以达到更好的迁移效果。尽管该方法极为简单，但是效果却非常不错，在多数迁移学习公开数据集（Office-Home, Office31, Image-CLEF）上均有不错的效果。 在当下追逐精度刷榜的洪流下，希望这个工作可以启发大家从不同的角度对​迁移学习进行探索。​ 这篇文章发表在中科院一区期刊Neural Network 2019上，主要作者团队来自中国科学院计算所与微软亚洲研究院。文章相关链接： PDF 代码 背景介绍 现在大多数领域自适应的方法使用单一的结构将两个领域的数据提取到同一个特征空间，在这个特征空间下使用不同方式（对抗、MMD等）衡量两个领域分布的差异，最小化这个分布的差异实现分布对齐。(详情请参照我们之前介绍的系列方法

前言 CTR预估对于搜索、推荐和广告都是非常重要的一个场景，近年来CTR预估技术更新迭代，层出不穷。这篇文章将记录CTR预估著名模型的相关论文。以下按照年份整理。 1.2020年 ( DFN ). Ruobing Xie. Deep Feedback Network for Recommendation ，2020，IJCAI（CCF-A）. 出自腾讯微信团队. ( DMR ). Zequn Lyu. Deep Match to Rank Model for Personalized Click-Through Rate Prediction , AAAI (CCF-A), 出自阿里团队。 ( DTS ). Shu-Ting Shi. Deep Time-Stream Framework for Click-through Rate Prediction by Tracking Interest Evolution , AAAI (CCF-A), 出自南京大学和阿里合作。 ( UBR4CTR ). Jiarui Qin. User Behavior Retrieval for Click-Through Rate Prediction , SIGIR (CCF-A), 出自上海交通大学。 ( InterHAt ). Zeyu Li. Interpretable Click

为什么年轻人不选择科研，为什么年轻人觉得科研很累，很烦。 >>>> 社会的因素，历史的因素，似乎都可以解释一些，仍然不能真正解释为何曾经让人很羡慕的科研职业变得如此没有吸引力。 我认为， 我们过去十多年的科研模式让我们 （我们已经人在江湖，不能选择了） 后面的年轻人失去了兴趣 。那我们的科研模式有哪些让人乏味呢？ 一、科研选题让人乏味 就个人观察，大多数科研课题都是跟踪性的课题。做跟踪性课题最大的问题在于永远都做票友，都在追捧一些前沿概念，而不是自己做自己想要的东西。比如，压缩感知等课题天下人都在做，这就不正常。 我参加过一个高等级的关于我们国家今后5年的科研发展路线图的讨论会，会上大拿们讲的科研方向无疑就是当时某一个国际会议的会议主题。 不错，似乎抓住主题也是个优点， 但是这些问题统统都是无根的问题 ，我们甚至不知道为什么要讨论那些问题，为什么非要只讨论那些问题。一辈子都在给别人梳辫子，内心的感觉无疑是很糟糕的。 实际上，每一个有潜质的人都希望自己能够做点自己感兴趣的事情，可是如果科研的选题都不是自己想要做的，而是需要按照所谓的国际时髦去做，这就有点强人所难。假如是做自己选择的课题，那么每个人似乎都能接受包括物质在内的 短暂匮乏 。 二、科研的形式让人乏味 我们国家所谓的科研， 总的看来还没有脱离科研入门的阶段 ，科研模式千篇一律（仅就信息科学而言），基本上就是：读论文、做实验