自然语言处理

喜欢我们，点击上方 AINLPer ，关注一下，极品干货即刻送达！ 今天天气是真不错~可惜还是不能出去。所以今天 整理了2020年ICLR会议的论文，并给大家分享出了ICLR2020国际会议演讲的主题和主要内容。 引言 2020年的 ICLR会议 将于今年的 4月26日-4月30日 在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。 2020年ICLR会议（Eighth International Conference on Learning Representations）论文接受结果刚刚出来， 今年的论文接受情况如下： poster-paper共523篇，Spotlight-paper（焦点论文）共107篇，演讲Talk共48篇，共计接受678篇文章，被拒论文（reject-paper）共计1907篇，接受率为： 26.48%。 回复： ICLR2020 获取会议全部列表PDF（方便您的收集整理） ，其中一共有四个文件（ 2020-ICLR-accept-poster.pdf 、 2020-ICLR-accept-spotlight.pdf 、 2020-ICLR-accept-talk.pdf 、 2020-ICLR-reject.pdf ），如果你不想下载，也可直接访问官网： https:/

作者：Stan Kriventsov 编译：ronghuaiyang 转载自：AI公园 原文链接： https://mp.weixin.qq.com/s/001DpmGeapE3HECzFPVvEw ​ mp.weixin.qq.com 导读 一篇知识蒸馏+对抗训练的文章。 作者使用最近提出的MEAL技术(包括从多个大型老师网络使用蒸馏通过对抗学习得到更小的学生网络学习)，使用224×224输入，在ImageNet上提升了ResNet-50的精度到80.67%， 没有外部训练数据和网络体系结构的修改。 从文章中我们能学到什么？ 即使是一个相对较小的网络也可以通过训练用正确的方法达到大得多的网络的准确性。 在某种程度上，这并不奇怪，因为现代深层神经网络被设计成过参数化的，利用“彩票假说”描述的大量的随机初始化配置，一个更小的网络足以达到同样的性能，但是，在实践中可以实现还是非常了不起的。 先决条件(为了更好地理解论文，我们应该熟悉什么？) 知识蒸馏 对抗训练 讨论 集成技术，或集成学习，由多个ML模型的组合预测组成，是一种已知的提高预测精度的方法。它被广泛应用于Kaggle竞赛中，在这些竞赛中，即使以巨大的计算负载为代价，也要获得最佳的精度。然而，在大多数实际应用中，由于在预测期间运行每个模型所需的费用和时间，集成并不被广泛使用。 MEAL技术的想法，是从多个大型神经网络(教师

来源 | 极市平台 转载自：机器学习算法与自然语言处理 原文链接： 我是如何在3个月内写出博士论文的？ ​ mp.weixin.qq.com 在看这篇文章之前请注意：我的博士论文花了我三年半的全职研究时间来收集数据，本文所指的三个月只是用于写作的时间，在该时间段的最后我写得很快。我并不是说每个人都能写得那么快，如果你没有做过研究，那就不可能写出来。你可能不会像我一样写得那么快，但你可能会从我的方法中得到一些有益的启示。 2006年夏天，在开始攻读博士学位近3年后，我想到放弃。原来，当时我的成果远远不够，我所使用的设备大部分时间都不起作用，我几乎无法在早晨唤起起床的动力。一年多以后有了折转，我成功做到了：扭转局面，获得了一些可发表少数几篇论文的结果；在3个月内从零开始完成我的博士论文；无争议地通过我的口头答辩。而且，最重要的是，我居然开始享受这个过程。我是怎么做到这一切的？ 1.应对压力—— Dealing with stress 在经历了一次近乎崩溃的经历后，当我在研究中遇到问题或者发现自己压力大的时候，我就会开始在校园里散步。我花时间思考自己需要做什么，让自己有一个正确的心态回过头来处理问题。以前我发现我自己会处于一种为了熬过一天而在网上浪费时间的境地。这一个习惯的改变可能挽救了我的博士生涯。 2.放慢速度——Slowing down 这似乎有悖于直觉，但放慢速度有助于我走得更快

原创：Elesdspline 转载自：AI自然语言处理与知识图谱 原文链接： 综述：关系抽取，挑战与机遇并存！ ​ mp.weixin.qq.com 关系抽取是信息抽取的基本任务之一，目的是识别文本中实体的目标关系，关系抽取对于知识库的构建以及文本的理解十分重要，特别有利于自然语言处理的一些任务，如问答，文本理解等，而且，关系抽取作为知识图谱构建的核心关键，是必不可少的步骤。 大家熟知的传统关系抽取(二元关于抽取，两个实体之间的关系)已经得到了广泛的研究，并且有很多的研究方法已经落地实践，近些年来，对于复杂场景的变化，传统的简单关系抽取已经无法满足实际场景中的复杂应用，慢慢衍生出需要复杂场景的关系抽取任务。 本文是一篇综述文章，总结了目前简单关系抽取的研究进展以及实践方法，对目前已出现的复杂关系抽取任务进行了总结，并介绍了每个任务的定义、最新进展、挑战和机遇。 一、简单关系抽取 简单的关系抽取目的是从文本中识别两个实体之间的关系，例如下图，根据文本，识别出北京和中国的关系为 the capital of，一般这样的关系抽取称之为二元关系抽取( Binary Relation Extraction，BiRE)。 简单关系抽取 目前的方法一般分为 基于监督学习的 BiRE(Supervised BiRE) 、 基于半监督学习的 BiRE(Semi-supervised BiRE) 以及

第 35 届 AAAI 人工智能会议已于 2 月 2 日在线上召开。在刚刚举行的开幕式上，组委会颁发了今年的最佳论文奖和提名奖，分别有三篇论文获奖。其中来自北航的学者以一作身份分别获得了一篇最佳论文奖和一篇提名奖。此外，会议还宣布了「学术新星奖」，共有多名华人获得奖项。 机器之心报道，机器之心编辑部。 作为全球人工智能顶会之一，虽然受到疫情限制，但 AAAI 2021 的热度仍然不减，本届 9034 篇提交论文的数量又创下了历史新高（去年为 8800 篇）。其中，来自中国的 3319 篇论文数量几乎是美国（1822 篇）的两倍。在最终 7911 篇经过评审的论文中，共有 1692 篇被接收。今年的论文接收率为 21%，略高于去年（20.6%）。 AAAI 2021 大会主席为微众银行首席人工智能官杨强教授，杨强教授是 AAAI 大会历史上第二位大会主席，也是担任此职位的首位华人。 最佳论文奖：两篇华人一作 本次会议共有三篇论文获得最佳论文奖项，其中两篇获奖论文的第一作者为华人学者，他们分别是来自北京航空航天大学的 Haoyi Zhou 和来自达特茅斯学院的 Ruibo Liu。 AAAI 2021程序委员会 Cochair Mausam公布论文奖项。 最佳论文 1：Informer: Beyond Efficient Transformer for Long Sequence

机器之心报道 作者：陈萍 转载自： 机器之心 原文链接： Papers With Code新增数据集检索功能：3000+经典数据集，具备多种过滤功能 ​ mp.weixin.qq.com Papers with Code 现在已经集成了 3044 个机器学习数据集，点点鼠标就能检索需要的数据集。 在机器学习中，数据集占据了重要的一部分。研究人员除了需要开发先进的算法外，其实数据集的建立才是最基础也是最重要的部分。在过往的研究中，机器学习从业者也建立了许多可用的数据集。 在哪里可以找到比较好的数据集呢？ 近日，查找论文对应开源代码的神器 Papers with Code 官网发布，Datasets 已经实现了 3044 个机器学习数据集的汇总，并且按照不同的类型进行归类，还具有过滤功能，值得一看。 我们现在正在索引 3000 + 来自机器学习的数据集。使用者可以按照任务分类和模式进行数据集查找，还可以按照时间比较数据集的使用情况、浏览基准等要素进行查找。 网站地址： https://www. paperswithcode.com/data sets 覆盖范围众多的数据集 在这 3044 个机器学习数据集里，不乏我们常用的经典数据集，例如，ImageNet、COCO、CIFAR-10、MNIST 等。 快速检索 如果你想搜索指定的数据集，该网站也具备检索功能，例如从事计算机视觉的研究者

作业格式 课程名称： 软件工程1916|W（福州大学） 作业要求： 团队作业第二次—项目选题报告 团队名称： 那周余嘉熊掌将得队 作业目标：确定和分析选题，绘制评审表 团队信息： 队员学号 队员姓名 博客地址 备注 221600131 Jamin https://www.cnblogs.com/JaminWu/ 队长 221600308 我超可爱的 http://www.cnblogs.com/XNC-SoCute/ 221600305 haziza http://www.cnblogs.com/haziza/ 221600340 你看见我的小熊了吗 https://www.cnblogs.com/stereohearts/ 221600426 Hunterj Lin https://www.cnblogs.com/HunterJ/ 021600823 玫葵 https://www.cnblogs.com/offeroques/ 选题报告 ========== 1、选题题目 <center> **福州大学服务外包与软件设计实验室对外网站** </center> 2、选题背景、概况、意义 背景 福州大学服务外包与软件设计实验室成立于2013年，位于福州大学数学与计算机科学学院3号楼201室，是一个充满创新和热情的团队。实验室通过搭建开放的技术交流学习空间

估计有人会说小Dream在偷懒。词向量，网上百度一大把的东西，你还要写。在我看来，词向量在自然语言处理中是非常重要的一环，虽然他在一开始就没有受到大家的重视，但是在神经网络再度流行起来之后，就被当作是自然语言处理中奠基式的工作了。另一方面，网上词向量相关的文章，大多是抄来抄去，能够深入浅出，讲的通俗而又不失深度的少之又少。最后，为了这个系列的系统性和完整性，我还是决定好好讲一下词向量，这个非常基础却又重要的工作。 1.文本向量化 首先，我们提出这样一个问题，一个文本，经过分词之后，送入某一个自然语言处理模型之前该如何表示？例如，“人/如果/没用/梦想/，/跟/咸鱼/还有/什么/差别”，向机器学习模型直接输入字符串显然是不明智的，不便于模型进行计算和文本之间的比较。那么，我们需要一种方式来表示一个文本，这种文本表示方式要能够便于进行文本之间的比较，计算等。最容易想到的，就是对文本进行向量化的表示。例如，根据语料库的分词结果，建立一个词典，每个词用一个向量来表示，这样就可以将文本向量化了。 2.词袋模型 要讲词向量，我们首先不得不说的就是词袋模型。词袋模型是把文本看成是由一袋一袋的词构成的。例如，有这样两个文本： （1）“人/如果/没有/梦想/，/跟/咸鱼/还有/什么/差别” （2）“人生/短短/几十/年/，差别/不大/，/开心/最/重要” 这两个文本，可以构成这样一个词典：{“人”，

作者 | xulu1352 目前在一家互联网公司从事推荐算法工作 （ 知乎：xulu1352 ） 编辑 | lily 0.前序 Att ention 机制 近年来在NLP领域大放异彩，尤其Bert等模型的走红，使Attention机制获得的关注量大增，那Attention机制应用到推荐领域又是以怎样形式的存在？ 说到这就不得不提阿里的深度兴趣网络(Deep Interest Network, DIN)，这个模型算得上是个经典的推荐系统Attention机制模型了;本文会重点围绕着DIN中Attention机制实现而展开，关于原理部分的解读本文下面只说说概要了，更深层次的解读可以参看文章末附录的文献。 1.Attention机制的思想 Attention机制缘起于人类视觉注意力机制，比如人们在看东西的时候一般会快速扫描全局，根据需求将观察焦点锁定在特定的位置上，是模仿人类注意力而提出的一种解决问题的办法；抽象点说它是一种权重参数的分配机制，目标是协助模型捕捉重要信息。具体一点就是，给定一组<key,value>，以及一个目标（查询）向量query，Attention机制就是通过计算query与各个key的相似性，得到每个key的权重系数，再通过对value加权求和，得到最终attention数值。所以本质上Attention机制是对给定元素的value值进行加权求和

在国内外新冠疫情持续的特殊形势下，2021年世界经济论坛“达沃斯议程”对话会于1月25日至29日以线上形式举行。此次论坛上，全球70多个国家和地区的1500多位政商界和社会组织领导人围绕“把握关键之年，重建各方信任”这一主题，就如何应对新冠疫情下全球面临的经济、环境、社会、技术等挑战，寻求合作抗疫和推动经济复苏的方案等展开了探讨。 作为人工智能世界级科学家和企业家、达沃斯论坛的常客和重要委员，清华大学智能产业研究院（Institute for AI Industry Research，AIR）张亚勤院长亦受邀出席了此次达沃斯议程对话会，并发表了演讲。 近年来，人工智能一直是计算机领域的热门研究方向，也是达沃斯论坛的焦点议题。 早在2016年，张亚勤博士就曾在达沃斯论坛对人工智能相关议题提出了诸多见解。当时，他指出，人工智能将成为第四次工业革命的技术基石，另一方面，它的发展速度比许多人想象得都要快，但要实现技术的可靠和可控性，需要全世界共同思考解决。同时，当前人们更多是投资弱人工智能，即对人类智能的放大，而不是取代人的智能等。 迄今，包括机器学习、语音识别、图像识别、大数据挖掘、自然语言处理等AI技术已在交通、教育、医疗、金融等众多领域得到了广泛应用，成为各个领域转型升级的核心动力。以此次新冠肺炎疫情为例，随着“无接触”等需求的兴起，人脸识别等人工智能技术大放异彩