计算机视觉

ACL2021目前距离投稿还有10天左右时间。之前建立了交流群，方便大家交流。 有投稿的同学可以加群交流，进群的各位同学请将备注改为 姓名+学校+方向 ，便于交流，大家交流的时候不要透露投稿id，不要透露任何违背双盲原则的信息，感谢大家配合。 想要入群的同学，可以添加yizhen-nlp ，备注 ACL-学校-姓名-方向（由于是我个人的微信号，不加备注不会接受同意，望谅解），一定要有投稿需求的同学，谢谢 。 推荐阅读 NAACL2021-交流群 【招人】腾讯广告业务线 赛尔笔记 | 篇章级机器翻译简介 清华CoAI课题组新书《现代自然语言生成》正式发布！ GPT“高仿”系列开源了！最大可达GPT-3大小，还能自主训练 ACL 2021投稿避坑指南 我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味” 推荐几本经典AI书籍！ 赛尔原创@AAAI 2021 | 纠结于联合学习中的建模方法？快来看看图网络显式建模! 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 斯坦福CS224W《图机器学习》2021开课！Jure Leskovec大牛主讲，附课程PPT下载 ICLR2021放榜！录取860篇，接受率为28.7%！ 计算机视觉中的Transformer 第二十届中国计算语言学大会（CCL 2021）技术评测任务征集 完全图解GPT-2

选自Medium 作者：Mahitha Singirikonda 机器之心编译 编辑：小舟 原文链接： https://mp.weixin.qq.com/s/RP9iFbyw-aNMKx-UAOe-aA ​ mp.weixin.qq.com 正如巴菲特所言：「近似的正确好过精确的错误。」 在机器学习中，过拟合（overfitting）会使模型的预测性能变差，通常发生在模型过于复杂的情况下，如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。 在机器学习中，如果模型过于专注于特定的训练数据而错过了要点，那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远，即准确率降低。这类模型将无关数据中的噪声视为信号，对准确率造成负面影响。即使模型经过很好地训练使损失很小，也无济于事，它在新数据上的性能仍然很差。欠拟合是指模型未捕获数据的逻辑。因此，欠拟合模型具备较低的准确率和较高的损失。 如何确定模型是否过拟合？ 构建模型时，数据会被分为 3 类：训练集、验证集和测试集。训练数据用来训练模型；验证集用于在每一步测试构建的模型；测试集用于最后评估模型。通常数据以 80:10:10 或 70:20:10 的比率分配。 在构建模型的过程中，在每个 epoch 中使用验证数据测试当前已构建的模型，得到模型的损失和准确率，以及每个 epoch 的验证损失和验证准确率。模型构建完成后

2017 年，机器之心发布了《机器之心人工智能技术趋势报告》，系统介绍了人工智能领域（AI） 下不同的技术分支，并以定性分析的方法讨论了各分支技术当时所处的发展阶段、瓶颈以及未来发展方向，帮助AI产业从业者提供技术趋势参考，帮助AI技术应用方、初学者理解飞速发展中的 AI 领域内各项技术的概况和层出不穷的新鲜技术内涵。 在2017版报告发布至今的三年里，越来越多的 AI 技术实现了商业落地，但也有不少深度学习方法开始触碰到技术自身的天花板，亟需突破。在三年后的今天，机器之心在这个可能是 AI 技术发展的关键拐点发布《2020-2021 全球AI技术发展趋势报告》。 相比 2017 年版报告，2020-2021版报告在过往的定性分析方法之外增加了数据层面的挖掘、分析和探索，更加侧重对具体技术趋势的挖掘以及量化分析指标的形成。基于开源的论文与专利语料，结合机器之心自有的相关数据库，综合文献报告审阅与问卷访谈等形式，本报告分别从「顶会趋势（NeurIPS） 分析」、「专家问卷分析」以及「专业分析」三个不同角度呈现分析结果，辅助读者了解近年来 AI 领域的热门趋势技术。 你将从报告中获得什么？ 人工智能技术发展七大趋势领域概览 一、（人类）自然语言技术 大规模预训练语言模型成为主流 语音识别技术应用普及度最高 问答系统、聊天机器人相关应用放缓 情感分析、文本分类增速不减 跨领域融合越来越多

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 盘点GAN在目标检测中的应用 机器之心报道 项目作者：RangiLyu 如何把 anchor-free 模型移植到移动端或嵌入式设备？这个项目对单阶段检测模型三大模块（Head、Neck、Backbone）进行轻量化，得到模型大小仅 1.8m、速度超快的轻量级模型 NanoDet-m 。 目标检测一直是计算机视觉领域的一大难题，其目标是找出图像中的所有感兴趣区域，并确定这些区域的位置和类别。目标检测中的深度学习方法已经发展了很多年，并出现了不同类型的检测方法。 目前，深度学习目标检测方法主要分为两大类，分别是两阶段式和单阶段式目标检测算法。两阶段式目标检测框架首先生成候选区域，然后将其分类成不同的目标类别，代表模型有 R-CNN、Fast R-CNN 等；单阶段式目标检测框架将目标检测任务视为一个统一的端到端回归问题，代表模型有 MultiBox、YOLO、SSD 等。这类框架通常结构更简单，检测速度也更快。 深度学习目标检测方法还可划分为 Anchor-base 和 Anchor-free 两大类，今年又出现了将 Transformer 用于目标检测 的尝试，各种方法百花齐放。但是，在移动端目标检测算法上，YOLO 系列和 SSD 等 Anchor-base 的模型一直占据主导地位。 近日

有工程师用 M1 版 Mac Mini 训练小架构深度学习模型，结果好像还可以。 选自vanpelt，作者：Chris Van Pelt，机器之心编译，机器之心编辑部。 众所周知，大多数 Mac 产品都是生产力工具，你甚至可以用它们训练神经网络。去年 11 月推出的，搭载 M1 芯片的 Mac 更是将这种生产力水平提到了一个新的高度。 那么，如果拎出来和专业的比一下，M1 版的 Mac 在训练模型方面是个什么水平？为了解答这个疑问，最近有人将 M1 版的 Mac Mini 与 Nvidia V100 放到一起比了一下。 M1 版 Mac Mini 的售价最低是 5000 元左右。此前，国外知名硬件评测网站 anandtech 发布了对这款产品的 详细测试 ，结果显示，在 CPU 性能测试中，M1 版 Mac Mini 的单线程和多线程都很优秀。在 GPU 性能测试中，它在多个基准测试中超越了之前的 Mac 系列产品，在某些情况下还能超越独显产品。 Nvidia V100 则是专业的 AI 训练卡，单精度浮点性能达到 15 TFLOPS，双精度浮点 7.5 TFLOPS，显存带宽 900GB/s，售价高达五位数。当然，你可以选择在 Colab 上租用。 评测者是「Weights and Biases」公司的联合创始人 Chris Van Pelt。Weights and Biases

本文转载自：哈工大讯飞联合实验室 原文链接： https://mp.weixin.qq.com/s/0cMM2MHUhsn0MKZGIMhyVw ​ mp.weixin.qq.com 注：文末附交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 近日，ACL 2021大会官方发布了第二次征稿通知。距离ACL 2021的摘要截稿还有1周的时间，距离全文截稿还有2周的时间。HFL编辑部针对本届ACL 2021投稿的重要内容进行了细致讲解，希望能够帮助正在准备ACL 2021论文的读者。 ACL 2021征稿通知： https:// 2021.aclweb.org/calls/p apers/ 最最重要的：两段式投稿 今年的ACL是两段式投稿方法，即先进行“摘要投稿”，然后再进行“全文投稿”。一定要注意的是， 这两个阶段都是必须参与的 ，不可以忽略“摘要投稿”。另外，长短文的投稿时间是一样的，也需要注意一下。 摘要投稿截止：2021年1月25日 23:59（北京时间：1月26日 19:59） 全文投稿截止：2021年2月1日 23:59（北京时间：2月2日 19:59） 注：官方时间是UTC-12时区，北京时间是UTC+8时区。 温馨提示：不要都等到最后时刻再提交，按往年情况来看，最后一刻很可能会非常非常卡，到时候有可能提交不上去。

作者 | 蒋宝尚 编辑 | 陈大鑫 原文链接： 我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味” ​ mp.weixin.qq.com 在AI圈里有这么一个人，虽然大学没有毕业，但却做过谷歌大脑研究员，担任过OpenAI团队的领导人。他被人称作“怪胎”，也被人称作神童。 他的名字叫做Chris Olah。在众人眼里，他的成长树在一开始似乎长“歪”：18岁那一年，进入多伦多大学读本科，随后辍学开始研究计算机。他运气不错，在刚刚开始进行AI研究的时候，他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。 2013 年，图灵奖得主 Yoshua Bengio 曾邀请他去做自己的研究生，但Chris居然拒绝了Bengio的邀请，去谷歌大脑团队做了实习生，跟随Jeff Dean研究卷积神经网络、交互媒体相关的内容。 仍然是运气不错。2015年，在 Greg Corrado 的帮助下，他转为了谷歌的正式员工。在谷歌的那段日子，发过多篇论文，带过博士生，并和贾扬清、Ian Goodfellow等顶尖研究员一起合作过。 根据谷歌学术，其h指数甚至达到了19，总引用数达到了32616，远超拥有博士学位的研究者。其中，最高引用的一篇文章，TensorFlow: Large-scale machine learning on heterogeneous

转载自 量子位 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 原文链接： 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 注：文末附【Pytorch】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 如何提升PyTorch“炼丹”速度？ 最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的 17种 投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。 不过需要注意的是，这些方法都是假设是在GPU上训练模型。 这一分享在Reddit上得到了 600 的热度。 接下来，我们便从 提速高低 开始，依次对这些方法来做介绍。 1、选择合适的学习率时间表。 选择的学习率时间表对收敛速度以及模型的泛化性能有很大影响。 Leslie Smith提出的周期性学习速率（CLR)以及 1cycle 策略可以令复杂模型的训练迅速完成。 比如在 cifar10 上训练 resnet-56 时，通过使用 1cycle，迭代次数可以减少10倍，得到与原论文相同的精度。 在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。 为什么这样做有效？一种可能的解释是

2020 年度的 ACM Fellow 名单已正式公布，共 95 人入选，其中包括陈怡然、周昆、颜水成、王义、吕晨阳等多位华人学者。 机器之心报道，机器之心编辑部。 ACM（Association for Computing Machinery, ACM）是美国计算机协会的简称，创立于 1947 年，是全世界计算机领域影响力最大的专业学术组织之一。 ACM Fellow 则是由该组织授予资深会员的荣誉，目的是表彰对于计算机相关领域有杰出贡献的学者，其审查过程十分严格，每年遴选一次。 2020 年，共有 95 人因其在人工智能、云计算、计算机图形学、计算生物学、数据科学、人机交互、软件工程、理论计算机科学和虚拟现实等领域中的号广泛和基础性贡献入选 ACM Fellow。他们的成就推动了技术、工业和个人生活等多个方面的显著进步和创新。 2020 ACM Fellow 来自全球各地的高等院校、企业及研究中心，包括澳大利亚、奥地利、加拿大、中国、德国、以色列、日本、荷兰、韩国、西班牙、美国、英国等国家和地区。所涉及的研究领域覆盖广泛，包括算法、网络、计算机架构、机器人学、分布式系统、软件开发、无限系统和网络科学等。 在 95 名入选者中，包括多位华人，如杜克大学教授陈怡然、浙大教授任奎等，更有多名图灵奖得主当选，可谓星光熠熠。 入选华人 姓名：陈怡然（Yiran Chen） 机构：杜克大学

知识蒸馏 | 模型压缩利器_良心总结 https://zhuanlan.zhihu.com/p/138210881 深度学习“炼丹师”,计算机视觉算法工程师 公众号：CV炼丹猿 附：【 Awesome-Knowledge-Distillation 】 1.什么是知识蒸馏 最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，因此这是一个概念上的模型压缩方案。从另一个角度来说，蒸馏可以使得student学习到teacher中更加软化的知识，这里面包含了类别间的信息，这是传统one-hot label中所没有的。由于蒸馏中软化标签的本质，因此蒸馏也可以被认为是一种正则化的策略。总结来说，知识蒸馏除了能够学习到大模型的特征表征能力，也能学习到one-hot label中不存在的类别间信息。现有的知识蒸馏方法主要侧重于两点： 从teacher的什么位置学习 和 用什么方式学习 。以下的总结图概述了本文要介绍的蒸馏方法。 目录结构： 深度学习(异步图书出品) 京东 ¥