自然语言处理

转载自 量子位 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 原文链接： 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 注：文末附【Pytorch】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 如何提升PyTorch“炼丹”速度？ 最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的 17种 投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。 不过需要注意的是，这些方法都是假设是在GPU上训练模型。 这一分享在Reddit上得到了 600 的热度。 接下来，我们便从 提速高低 开始，依次对这些方法来做介绍。 1、选择合适的学习率时间表。 选择的学习率时间表对收敛速度以及模型的泛化性能有很大影响。 Leslie Smith提出的周期性学习速率（CLR)以及 1cycle 策略可以令复杂模型的训练迅速完成。 比如在 cifar10 上训练 resnet-56 时，通过使用 1cycle，迭代次数可以减少10倍，得到与原论文相同的精度。 在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。 为什么这样做有效？一种可能的解释是

深度学习与机器学习 https://www.cnblogs.com/qcloud1001/p/9633724.html 一、什么是机器学习？ 通常，为了实现人工智能，我们使用机器学习。我们有几种算法用于机器学习。例如： Find-S算法 决策树算法（Decision trees） 随机森林算法（Random forests） 人工神经网络 通常，有3种类型的学习算法： 1，监督机器学习算法用于进行预测。此外，该算法搜索分配给数据点的值标签内的模式。 2，无监督机器学习算法：没有标签与数据点相关联。这些ML算法将数据组织成一组簇。此外，它需要描述其结构，使复杂的数据看起来简单，有条理，便于分析。 3，增强机器学习算法：我们使用这些算法来选择动作。此外，我们可以看到它基于每个数据点。一段时间后，算法改变其策略以更好地学习。 二、什么是深度学习？ 机器学习只关注解决现实问题。它还需要更加智能的一些想法。机器学习通过旨在模仿人类决策能力的神经网络。ML工具和技术是关键的两个深度学习的窄子集，我们需要用他们来解决需要思考的问题。任何深度神经网络都将包含三种类型的图层： 输入层 隐藏层 输出层 我们可以说深度学习是机器学习领域的最新领域。这是实现机器学习的一种方式。 深度学习与机器学习 我们使用机器算法来解析数据，从数据中学习，并根据所学知识做出明智的决策。基本上，深度学习用于创建人工

测试工作中，不知道大家是否遇到过这种情况：有时遇到一些问题、 BUG ，提交之后开发会遇到项目时间紧、暂时难以解决、问题影响可能较少优先级低等原因被一再的遗留，慢慢的当再次见到这些问题，大家渐渐的麻木了，很自然的就继续遗留，遗留多了欠下的债就大了，但是到底是否到了该修改的时候呢？怎么去评估呢？用数据说话！ 相信很多公司都有用户反馈信息，这些反馈的信息就是一笔宝贵的财富，它能帮助你评估你的产品做的怎么样、有什么问题甚至用户会主动给你提出一些建议，因此测试应该多关注这部分信息，用以帮助优化测试方案、流程，那么怎么处理这些信息呢？ 举一个例子： 作为测试，可能不怎么知道自然语言处理的知识、大数据处理的各种算法，但是依然能够处理它们。首先，给这些留言划分关键字，将 N 条数据拆成名词、动词等等各种片段关键字，然后对它们进行统计，对所有关键字进行排序，可能有 M 个，取前边一部分关键字就能够反映出主要的问题了，但是关键字可能依然很多，此时将取出来的关键字两两成对进行正则表达式匹配，此时将匹配的数量进行排序，相信用两个关键字索引出来的会更有说服力，此时人工进行分类、统计得到粗略的数量占比，例如下图： 可能之前你找报资源、输入法消失等问题时，会被推迟，但是看到它们占比很靠前、很重要的时候，就会被重视，专门抽出时间去解决。 当然这仅仅是开启问题兜底的第一步，面对各种问题

选自 http:// github.io 作者：Jay Alammar 机器之心编译 原文链接： https://mp.weixin.qq.com/s/tXMA4y1nryAlVO3cBS1LXQ ​ mp.weixin.qq.com 今年涌现出了许多机器学习的精彩应用，令人目不暇接，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。 然而，GPT-2 有着超大的规模，它是一个在海量数据集上训练的基于 transformer 的巨大模型。GPT-2 成功的背后究竟隐藏着什么秘密？本文将带你一起探索取得优异性能的 GPT-2 模型架构，重点阐释其中关键的自注意力（self-attention）层，并且看一看 GPT-2 采用的只有解码器的 transformer 架构在语言建模之外的应用。 作者之前写过一篇相关的介绍性文章「The Illustrated Transformer」，本文将在其基础上加入更多关于 transformer 模型内部工作原理的可视化解释，以及这段时间以来关于 transformer 模型的新进展。基于 transformer 的模型在持续演进

ICLR（国际学习表征会议）组委会今天公布了今年的论文接收结果。今年，共有2997篇论文投稿，相比去年的2594篇论文投稿，增加了15.5%。其中860篇论文被接收，接受率为28.7%，这些论文有53篇分布在Oral，114篇分布在Spotlight以及693 篇将会用Poster展示。 ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。 ICLR成立至今仅七年，但它已被学术研究者们广泛认可，虽然在中国还没有被CCF定级，但这不妨碍被认为是“深度学习领域的顶级会议”。 投稿详情如下： ICLR 2021 Conference ​ openreview.net 机器学习/深度学习算法/自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 强烈推荐大家关注 机器学习算法与自然语言处理 账号和 机器学习算法与自然语言处理 微信公众号，可以快速了解到最新优质的干货资源

Python代码静态分析是一个标准化工程必不可少的一个环节，工程在上线之前需要对代码规范、语法问题进行详细的检查，防止问题随着代码发布到生产环境，避免酿成更大的故障。 这一点，在很多大型公司是非常重视的。因此，Python方面的静态检查工具层出不穷，处理经常使用的 pylint ，还有除此知名公司的一些工具： Google的pytype Microsoft的pyright Facebook的Pyre 虽然这些静态检查工具出自不同公司，但是核心功能如出一辙。都是基于PEP规范，去检查Python代码中的语言风格，判断是否符合编程规范，是否满足Python语法的要求，而对于更深层次的 安全 问题却从未涉足。 而Facebook最新开源的 Pysa 则是一款专注于检测和预防Python代码中 安全性问题 的静态检查工具，本文就来介绍一下这款出自Facebook的Python静态检查工具。 Pysa Pysa是一个专注于安全性的工具，它是在Facebook之前开源的静态检查工具 Pyre 的基础上进行开发的。 它主要用于检查代码中的数据流问题，这一点至关重要，因为，许多安全和隐私问题都可以归结为数据流入和流出过程中产生的。 Pysa使用了一些Facebook内部框架进行开发而成，这些框架主要基于隐私策略相关技术来防止用户数据的访问和泄露，这对于一家以社交为主的公司，可以说是非常擅长。

作者：RAM SAGAR 机器之心编译 编辑：蛋酱、魔王 原文链接： https://mp.weixin.qq.com/s/NTjTg-enUjArb2umkhcVIg ​ mp.weixin.qq.com 注：文末附【深度学习与自然语言处理】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 盘点 AI 十年来取得的重要突破。 过去十年间，人工智能技术突飞猛进，最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前，人们在谈论 AI 的理论化和实验，但这些年来，AI 变得更加切实了，也变成了主流。无论是国际标准课程、平台、库、框架、硬件，一切都顺理成章。就算说这十年里取得的成绩奠定了未来的基础，也不为过。 这篇文章将盘点 AI 十年来取得的重要突破。 卷积 2012 年是深度学习历史上重要的一年。那一年，卷积神经网络（CNN）在著名的 ImageNet 挑战赛中大放异彩。由 Alex Krizhevsky 等人设计的卷积神经网络「Alexnet」以远超第二名的成绩夺冠，在 ImageNet 数据集上的视觉识别错误率为 15.3%，降低了一半。该神经网络对猫的检测准确度达到了 74.8%，在 YouTube 视频中检测人脸的准确率为 81.7%。 现在，手机和商场中的人脸识别应用都应该归功于 2012 年的这项工作

本文对百度NLP入选ACL 2020的论文 《Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation》 进行解读，该论文提出用图的形式捕捉对话转移规律作为先验信息，用于辅助开放域多轮对话策略学习，并提出了一个基于CG的策略学习框架。 引言 研究人员首先从对话语料库中构建了一个 对话图谱（Conversational Graph） ，其中节点表示“What to say”和“How to say”，边表示当前句（对话上文中的最后一个语句）与其回复句之间的自然转换。然后，论文中提出了一个基于对话图的策略学习框架，该框架通过图遍历进行对话流规划，学习在每轮从对话图中识别出一个“What”节点和“How”节点来指导回复生成。 这样可以有效地利用对话图谱来促进策略学习，具体如下： 可以实现更有效的长期奖励设计； 提供高质量的候选操作； 让对策略有更多的控制，在两个基准语料库的实验结果表明了所提框架的有效性。 模型介绍 论文中提出了基于对话图谱(CG)的开放域多轮对话策略模型。其中，对话图谱用来捕捉对话中的局部合适度以及全局连贯度信息。直观上， 策略模型以图中的What-节点 (关键词)作为可解释的离散状态，进而模型得以主动规划对话内容，进而提升多轮连贯度和可控性 。

Transformer 本文介绍了 Transformer 结构, 是一种 encoder-decoder , 用来处理序列问题, 常用在NLP相关问题中. 与传统的专门处理序列问题的encoder-decoder相比, 有以下的特点: 结构完全 不依赖于CNN和RNN 完全依赖于 self-attention 机制, 是一种 堆叠的self-attention 使用 全连接层 逐点 point-wise 计算的 整个Transformer的结构图如下所示: Encoder and Decoder Stacks 如上所说, Transformer是基于 stacked self-attention 的, stack 方式具体为: Encoder Encoder是由$N=6$个独立的层堆叠而成的, 每层有两个子层: 第一个层为 multi-head self-attention 结构 第二层为 simple, position-wise fully connected feed-forward network , 即基于位置的简单全连接反馈网络 在每个子层又引入了 residual connection , 具体的做法为每个子层的输入与输出 相加 , 这就要求每个子层的输入与输出的维度是完全相等的. 然后再使用 layer normalization . 因此每个子层的最终输出为:

准备报考计算机专业考研的同学们有没有确定好自己的目标院校？计算机专业哪些学校的考研难度比较大？哪些学校相对好考？下文有途网小编给大家整理了计算机考研难度排行榜，供参考！ 1计算机考研学校难度排名 1、北京大学考研330分 数学自主命题，进复试的60多人，被刷了10个左右，330+的几个基本全留下了，复试率基本1:1.2，今年360以下的基本都去软院，录取除特殊人物外，基本看排名总排名40开外，专业排名6之外的都很危险，排名之间还要看分数差距 2、清华大学352分(含工程硕士) 清华工程不享受奖学金，不享受国家补助，不享受公费医疗， 工学录了35个，5个去深圳，每年工学收30个左右 3、南京大学341分(不含工程硕士，南大工程的复试线是其工科校线到341之间) 计划招收工学硕士90人，本校和外校推免生一共34人，通过考试招收56人，按照1:1.2的比例，共有68人进入复试，工学刷下来的可以直接选读工程硕士(南大工程硕士可以评定奖学金的)，无需复试 4、浙江大学考研320分(不含工程硕士) 浙大复试比例:1:1.5，进入复试240人，录取140+，刷了90人。实际录取线在350分左右，140人中只有30人公费(其中浙大本校免复试占去15个名额)，剩下的大部分交一半学费，少数全交 5、复旦大学325分(不含工程硕士) 工学招80个，已有48名免推生，复旦专硕的复试线是其工科校线310