神经网络

去年推荐的机器学习画图模板ML Visuals前几天已经更新，ML Visuals 现在包含了 100 多个可用的自定义图形，可以方便我们在任何论文、博客、PPT 中使用这些资源。伸手党福利好吧！ 我们来看一下几个图，秀一下： 项目地址： https://github.com/dair-ai/ml-visuals ​ github.com 赶紧fork+star吧。 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 谷歌最新28页高效 Transformer 模型综述 30页少样本学习综述！Learning from Very Few Samples Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述 使用PyTorch时，最常见的4个错误 加拿大蒙特利尔大学助理教授刘邦招收2021/2022年博士生 【EMNLP2020】基于动态图交互网络的多意图口语语言理解框架 一文搞懂 PyTorch 内部机制 AAAI 2021论文接收列表放出!

作者单位：微软，华盛顿大学 (jianfeng gao等人) 论文 Evaluation of Text Generation: A Survey 注：文末附【深度学习与自然语言处理】交流群 NLP领域的生成问题一直就是一个非常火的topic，衍生出了各种细化的问题，如摘要，对话生成，标题生成，代码生成等，任何一个都是一堆研究者关注的问题，但是评价始终是阻挠该方向真正突破的痛点。到底是BLEU好，还是ROUGE好，到最后还是不如人工评价好，难顶啊！ jianfeng gao等人对生成评价问题做了一个58页的详细综述，对这个问题的发展进程，未来趋势做了详细的看法，对这个方向感兴趣的可以了解，这个方向是一个可以出Best paper的方向，奥利给！ 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 机器学习画图模板ML Visuals更新 谷歌最新28页高效 Transformer 模型综述 Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述

本项目参考： https://www.bilibili.com/video/av31500120?t=4657 训练代码 1 # coding: utf-8 2 # Learning from Mofan and Mike G 3 # Recreated by Paprikatree 4 # Convolution NN Train 5 6 import numpy as np 7 from keras.datasets import mnist 8 from keras.utils import np_utils 9 from keras.models import Sequential 10 from keras.layers import Convolution2D, Activation, MaxPool2D, Flatten, Dense 11 from keras.optimizers import Adam 12 from keras.models import load_model 13 14 15 nb_class = 10 16 nb_epoch = 4 17 batchsize = 128 18 19 ''' 20 1st,准备参数 21 X_train: (0,255) --> (0,1) CNN中似乎没有必要？cnn自动转了吗？ 22

weight decay（权值衰减）的最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。 momentum是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为 , 沿负梯度方向下降。而带momentum项的SGD则写生如下形式： 其中 即momentum系数，通俗的理解上面式子就是，如果上一次的momentum（即 ）与这一次的负梯度方向是相同的，那这次下降的幅度就会加大，所以这样做能够达到加速收敛的过程。 三、normalization。如果我没有理解错的话，题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面，将 按照特征进行normalization，这样做的好处有三点： 1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1]，这样在反向传播时候的梯度都是在1左右，避免了梯度消失现象。 2、提升学习速率。归一化后的数据能够快速的达到收敛。 3、减少模型训练对初始化的依赖。 作者：陈永志 链接：https://www.zhihu.com

©PaperWeekly 原创 · 作者｜张子逊 研究方向｜神经网络剪枝、NAS 在神经网络优化的研究中，有研究改进优化器本身的（例如学习率衰减策略、一系列 Adam 改进等等），也有不少是改进 normalization 之类的技术（例如 Weight Decay、BN、GN 等等）来提高优化器的性能和稳定性。除此之外，还有一个比较常见的技术就是 Weight Averaging，也就是字面意思对网络的权重进行平均，这也是一个不错的提高优化器性能/稳定性的方式。 Stochastic Weight Averaging (SWA) 在神经网络的优化中，有一个比较公认的问题就是 train loss 和 test loss 优化曲面不一致。导致这个问题可能的原因有很多，（以下是个人推测）可能是 train 和 test 数据本身存在分布不一致的问题、也可能是因为训练的时候在 train loss 中加入了一系列正则化等等。由于这个不一致的问题，就会导致优化出来的网络 generalization performance 可能会不好。 本文提出了一个比较简单直接的方式来解决这个问题，在优化的末期取 k 个优化轨迹上的 checkpoints，平均他们的权重，得到最终的网络权重，这样就会使得最终的权重位于 flat 曲面更中心的位置。这个方法也被集成到了 PyTorch 1.6

卷积：神经网络不再是对每个像素做处理，而是对一小块区域的处理，这种做法加强了图像信息的连续性，使得神经网络看到的是一个图像，而非一个点，同时也加深了神经网络对图像的理解，卷积神经网络有一个批量过滤器，通过重复的收集图像的信息，每次收集的信息都是小块像素区域的信息，将信息整理，先得到边缘信息，再用边缘信息总结从更高层的信息结构，得到部分轮廓信息，最后得到完整的图像信息特征，最后将特征输入全连接层进行分类，得到分类结果。 卷积： 经过卷积以后，变为高度更高，长和宽更小的图像，进行多次卷积，就会获得深层特征。 1）256*256的输入（RGB为图像深度） 2）不断的利用卷积提取特征，压缩长和宽，增大深度，也就是深层信息越多。 3）分类 池化： 提高鲁棒性。 搭建简单的卷积神经网络进行mnist手写数字识别 网络模型： 两个卷积层，两个全连接层 输入[sample*28*28*1]（灰度图） [ 28 * 28 *1 ] --> (32个卷积核，每个大小5*5*1,sample方式卷积) --> [ 28 * 28 * 32] --> (池化 2*2 ，步长2)--> [14 *14 *32] [ 14 * 14 *32] --> (64个卷积核，每个大小 5 * 5 * 32,sample方式卷积) --> [14 * 14 *64] --> (池化 2*2 ，步长2)--> [7 *

视学算法报道 编辑：Panda 抢射手？抢中单位？「绝悟」在打王者荣耀时是如何选英雄的？ 腾讯 AI Lab 开发的 AI 智能体「绝悟」已让王者峡谷不再只是人类召唤师的竞技场，而且这个 AI 战队在上月底 进化成了「完全体」 。在一局完整的比赛中，英雄选择阶段是至关重要的（比如五射手或五法师阵容会有官方劝退）。 近日，腾讯 AI Lab 和上海交通大学发布的一篇论文介绍了绝悟的英雄选择策略：JueWuDraft。别的不敢说，有一点可以肯定：人工智能不会乱抢英雄。 玩 MOBA 游戏，选英雄很关键，因为这决定了双方队伍的阵容，会直接影响战绩、胜负等最终结果。之前最佳的选英雄方法通常没有考虑以下因素：1）英雄池扩大时选英雄的效率，2）MOBA 游戏 5v5 的多轮竞赛机制，即两支队伍比赛 N 局，获胜次数更多的队伍获胜（best-of-N），而在这一系列比赛中，每个英雄只能被选择一次。 腾讯 AI Lab 和上海交通大学合作的这篇论文将阵容选择过程描述成了一个多轮组合博弈过程，并提出了一种全新的阵容选择算法 JueWuDraft ，该算法基于神经网络和蒙特卡洛树搜索。具体来说，作者设计了一种长期的价值估计机制，可以更好地应对 best-of-N 比赛的选英雄情况。研究者在大热 MOBA 手游《王者荣耀》中检验了该方法，结果表明：相较于其它当前前沿的方法，JueWuDraft

来源: 新智元 本文 约1700字 ，建议阅读 5 分钟 根据研究人员的最新发现，神经网络对数据的要求，居然比神经符号模型还要低！ [ 导读 ] DeepMind最新的研究结果再一次打破了传统认知——根据研究人员的最新发现，神经网络对数据的要求，居然比神经符号模型还要低！不仅如此，实验结果证实，神经网络的在关键任务上的效果还要更好。不需要预先训练，完全无监督，居然这么神奇？ 按照之前的常识，结合了算法和符号推理技术的神经符号模型（Neurosymbolic Models），会比神经网络更适合于预测和解释任务，此外，神经符号模型在反事实方面表现更好。 而Neural-Symbolic，本质上其实是将现代数学中的分析学和代数学结合的产物。 分析学擅长处理数值、函数、逼近等问题, 代数学擅长处理推演、抽象、结构等问题，如果能适当将两者结合，会有很可观的效果。 然而，近日，DeepMind的研究人员声称， 在正确的测试条件下，神经网络的性能会优于神经符号模型。 与之前的研究结论相反，研究人员认为， 对于可以衡量高级认知功能并基于视觉的任务来说，基于分布式表示的神经网络模型确实表现良好， 并已经明显胜过了现有的神经符号模型。 在论文中，作者描述了一种关于视频的时空推理的体系结构，此结构可以学习到视频中的所有成分，并且所有中间的表示都贯穿分布在整个神经网络层中。 论文地址： https:/

　　【本文内容技术含量极低】。但我的哲学是，与其在非技术区写有点技术的博客，何不在技术区写没什么技术的博客呢？ 　　回顾我记录下来的目标，可谓是天花乱坠，这就是我作为空想家（而不仅是自谦为“空想者”）的基本素质。我来整理一下（无序）：1.写一部小说（原因1是对人性论点的不满，原因2是希望情感可以被机械模拟，原因3是觉得因此自动生成情节是有可能的，原因4是想整合多年的碎片构思）；2.做一部动画（原因1同上几点，原因2是觉得与其建模，不如让机器脑补作画，理论上可以大幅减少运算步骤，并且不止是智能PS那么“简单”）；3.写一套编程教材（原因1：学的时候看不懂；原因2：希望找到快速学习方法；原因3：前一条原因引出了“知识是什么”，包括知识表示和分析，和专家系统沾边了；原因4：因此生成教程是可能的，直接由知识的结构生成书，虽然牵扯到接受知识的过程）；4.写一本哲学书（1：对常见哲学问题回答的不满；2.希望对零碎之物能有系统分析）；5.翻译文档（1.知识表示的范本；2.自然语言之特定领域的分析范本）；6.做一个pdf阅读器，加上弹幕和互动功能（1：注释立体化，2：分布式教育和学习，3：时间作品，能看到思维痕迹）；7.3d网络课堂（和游戏区别不大，但是我觉得有意义，至少和一般的网课相比）；8.ACG自动翻译软件（1：主流翻译器那个复杂啊，我又不怎么玩；2.可以改造成学外语软件）；9.开发一个游戏

作者丨阿尔法杨XDU@知乎 来源丨https://zhuanlan.zhihu.com/p/266513299 导读 异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。 一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。 二、异常检测的概念 异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了