神经网络

使用MNIST数据集对0到9之间的数字进行手写数字识别是神经网络的一个典型入门教程。 该技术在现实场景中是很有用的，比如可以把该技术用来扫描银行转帐单或支票，其中帐号和需要转账的金额可以被识别处理并写在明确定义的方框中。 在本教程中，我们将介绍如何使用Julia编程语言和名为Flux的机器学习库来实现这一技术。 为什么使用Flux和Julia? 本教程为什么想使用Flux（ https://fluxml.ai/ ） 和Julia（ https://julialang.org/ ） ，而不是像Torch、PyTorch、Keras或TensorFlow 2.0这样的知名框架呢？ 一个很好的原因是因为Flux更易于学习，而且它提供更好的性能和拥有有更大的潜力，另外一个原因是，Flux在仍然是一个小库的情况下实现了很多功能。Flux库非常小，因为它所做的大部分工作都是由Julia编程语言本身提供的。 例如，如果你查看Gorgonia ML库（ https://github.com/gorgonia/gorgonia ） 中的Go编程语言，你将看到，它明确地展示了其他机器学习库如何构建一个需要执行和区分的表达式图。在Flux中，这个图就是Julia本身。Julia与LISP非常相似，因为Julia代码可以很容易地表示为数据结构，可以对其进行修改和计算。 机器学习概论 如果你是机器学习的新手

作者 | 江昱 来源 | Serverless 公众号 前言 Serverless 概念自被提出就倍受关注，尤其是近些年来 Serverless 焕发出了前所未有的活力，各领域的工程师都在试图将 Serverless 架构与自身工作相结合，以获取到 Serverless 架构所带来的“技术红利”。 验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。可以防止恶意破解密码、刷票、论坛灌水，有效防止某个***对某一个特定注册用户用特定程序暴力破解方式进行不断地登陆尝试。实际上验证码是现在很多网站通行的方式，我们利用比较简易的方式实现了这个功能。CAPTCHA 的问题由计算机生成并评判，但是这个问题只有人类才能解答，计算机是无法解答的，所以回答出问题的用户就可以被认为是人类。说白了，验证码就是用来验证的码，验证是人访问的还是机器访问的“码”。 那么人工智能领域中的验证码识别与 Serverless 架构会碰撞出哪些火花呢？ 本文将通过 Serverless 架构和卷积神经网络（CNN）算法，实现验证码识别功能。 浅谈验证码 验证码的发展，可以说是非常迅速的

　　 　　 大数据文摘出品 　　 作者：刘俊寰 　　4月26号下午3点，为庆祝清华大学建校109周年，计算机系“云校庆”系列活动—— “论道AI Open” 在线上举行。 　　在新一期AI Time辩论中，中国科学院张钹院士、清华大学计算机系唐杰教授、刘知远副教授、中国科学技术大学计算机学院李向阳教授、旷视科技联合创始人唐文斌、搜狗公司CEO王小川一起论道了人机交互与智能的相关问题。 　　 　　AlphaGo到底是如何炼成的？ 　　AI能够被大众所熟知，离不开2016年3月那场与李世石的围棋大赛。 　　在活动开始，张钹院士就以AlphaGo为例，回顾了整个AlphaGo的发展历程，从1980年日本学者福岛邦彦提出卷积神经网络，到1943年美国学者提出神经网络模型，再到中国台湾的黄亚杰团队开发的围棋程序等等， 横跨了将近80年的AI历史 。 　　 　　 　　 　　当把目光从纵向的“时间”转向横向的“国家”，我们会发现，前前后后 共有10个国家 参与到AlphaGo的开发研究中，这也说明， 一个科学成就离不开全世界科技人员的共同努力 ，特别是对前人研究的利用和借鉴。 　　其次，张钹院士还提到，如今美国之所以能够在人工智能领域处于领先地位，与 美国开放的科技环境 有很深的关系，这给中国科技发展带来了很好的借鉴，也就是说，我们 必须要进一步地开放开源 ，以吸引国内外的AI研究学者。 　

图神经网络（GNN）是目前热门的研究方向，但我们是否应把注意力过多地放在这上面？数据科学家 Matt Ranger 从模型的本质、性能基准测试、实践应用等方面陈述了自己的观点。 选自 http:// singlelunch.com ，作者：Matt Ranger，机器之心编译，机器之心编辑部。 图神经网络（GNN）是机器学习中最热门的领域之一，在过去短短数月内就有多篇优秀的综述论文。但数据科学家 Matt Ranger 对 GNN 却并不感冒。他认为这方面的研究会取得进展，但其他研究方向或许更重要。 博客链接： https://www. singlelunch.com/2020/12 /28/why-im-lukewarm-on-graph-neural-networks/ 机器之心对这篇博客进行了编译整理，以下是博客内容。 模型的关键是压缩 图经常被认为是一种「非欧几里得」数据类型，但实际上并不是。正则图（regular graph）只是研究邻接矩阵的另一种方式： 如上图所示，充满实数的矩阵却被称为「非欧几里得」，这很奇怪。 其实这是出于实际原因。大多数图都相当稀疏，因此矩阵中会包含很多 0。从这个角度看，非零数值非常重要，这让问题接近于（计算上很难的）离散数学，而不是（容易的）连续、梯度友好的数学。 有了全矩阵，情况会变得容易 如果不考虑物理领域的内容，并假设存在全邻接矩阵

欢迎访问 网易云社区 ，了解更多网易技术产品运营经验。 这个双十一，人工智能市场火爆，从智能音箱到智能分拣机器人，人工智能已逐渐渗透到我们的生活的方方面面。 网易云社区 联合 博文视点 为大家带来人工智能热门图书专场，这些书籍将引领我们一起去解密人工智能，了解这位即将走进我们生活的“朋友”。 知乎活动的帖子： https://zhuanlan.zhihu.com/p/50078535 参与规则：在知乎帖子评论回复以下你最想看的一本书名称即可。注意是知乎帖子回复，不是本帖回复哦 以下为奖品图书简介： 1、《解析深度学习：卷积神经网络原理与视觉实践》 编辑推荐 本书是对治深度学习恐惧症的一剂良药。作者魏秀参博士，毕业于著名的南京大学LAMDA研究所，现为旷视科技南京研究院负责人。本书凝聚了他多年的功力，集原理与实践于一体，将卷积神经网络这颗仙丹炼得出神入化，以此攻克计算机视觉实践中的一个又一个难题。 全书没有佶屈聱牙的文字、没有艰涩难懂的术语，只有明明白白的道理、由浅入深的论证、清晰流畅的架构。在内容的安排上，兼顾了基础知识和学习难点，各有侧重，让初学者不仅可以看明白、而且能够读懂，知其所以然并举一反三运用到自己的工程实践中。 无怪乎，业内专家认为“本书可能是我知道的“醉”好的深度学习的中文入门教材”。 内容提要 深度学习，特别是深度卷积神经网络是人工智能的重要分支领域

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者： Alireza Dirafzoon 编译：ronghuaiyang 导读 在单GPU上就可以运行的Transformer模型，而且几乎不损失精度，了解一下？ 如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本，语音信号，或视频 —— 你可能听说过或使用过Transformer，你可能知道这和是推特中认为的不同于一个东西。 图1，打破僵局，摘自Chris Manning教授的推特 最近，谷歌推出了Reformer架构，Transformer模型旨在有效地处理处理很长的时间序列的数据(例如，在语言处理多达100万个单词)。Reformer的执行只需要更少的内存消耗，并且即使在单个GPU上运行也可以获得非常好的性能。论文 Reformer: The efficient Transformer 将在ICLR 2020上发表(并在评审中获得了近乎完美的分数)。Reformer模型有望通过超越语言应用(如音乐、语音、图像和视频生成)对该领域产生重大影响。 在这篇文章中,我们将努力深入Reformer模型并试着去理解一些可视化方面的指南。准备好了吗？ 为什么是Transformer? 在NLP类的任务中，如机器翻译、文本生成、问答，可以被形式化为sequence-to-sequence的学习问题。长短期记忆

阅读本文大概需要 18 分钟。 前言 在毕设系列推文的第二章中我们详细介绍了TensorFlow的一些基础知识（ TensorFlow 2.0 概述 ）；在第三章（ 毕业设计之「神经网络与深度学习概述」 （一） 、 毕业设计之「神经网络与深度学习概述」（二） ）中对神经网络与深度学习做了简单的概述（主要介绍本章节中完成两个项目所用的一些基础概念）包括激活函数、梯度下降、损失函数、softmax算法等；并且通过简单描述全连接神经网络的不足，详细介绍了卷积神经网络的相关概念。 有了前面几章的基础知识，在本章中，我们会在此基础上介绍两个相关的例子（在此之前会对4.1节中对所用卷积神经网络 AlexNet 进行详尽的描述）： 其中包括 利用AlexNet完成MNIST手写字的训练和识别 （本文所涉及内容）以及 毕业设计之「测试实验及结果分析」（二） 。 第一个例子是论文中要求指定完成的例子；第二个例子是为了丰富论文成果通过Python爬虫技术收集数据样本集（包括测试集图片和训练集图片，共计3762张图片）、通过搭建AlexNet标准网络结构模型进行训练，并通过测试集图片进行最终结果分析而特别引入的。 图解AlexNet网络结构 MNIST手写字训练和识别 import TensorFlow as tf mnist = tf.keras.datasets.mnist (x_train, y

点击上方“ 迈微AI研习社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 仅作学术分享，不代表本公众号立场，侵权联系删除 转载于：我爱计算机视觉，52CV君 AI博士笔记系列推荐 周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接 前段时间OpenCV正式将SIFT算法的实现从Non-free模块移到主库，因SIFT专利到期了（专利授权后，从申请日开始有20年的保护期）。 美国林肯总统称 "专利制度是给天才之火浇上利益之油" ,专利保护了申请人的利益，促进了科技的进步，但现在也有越来越多的滥用专利权对产业机构敲诈的案例出现。 SIFT 专利权的终结让我们不得不思考，还有哪些著名的算法被申请了专利？对于做研究的朋友来说不需要考虑这个问题，专利算法依然可以参考、复现、对比，但对于产业界朋友就不得不确认清楚：项目中有没有可能使用了别人专利保护算法。 作为计算机视觉领域当今翘楚，两度获得CVPR 最佳论文奖的何恺明大佬有很多论文都具有重大影响力。其部分论文引用数据： 残差网络 ResNet 被引用 51939 次、目标检测算法 Faster RCNN 被引用 20291 次、实例分割算法 Mask RCNN 被引用 7249 次，暗通道去雾被引用 4274 次，这些知名的算法有成百上千的开源实现，也肯定被大量的商业公司使用，有没有被申请专利？ 想想 ResNet

现今流行的生成对抗网络（GAN）只是对抗好奇心的一种 特例 ？在近日 Jürgen Schmidhuber 发表的博客文章中，他重申了这样一种说法。Jürgen 表示，他在 1990 年的一篇文章中详细描述了基于控制器和世界模型这两种循环神经网络（RNN）的强化学习和规划系统，其中还包含了现在 ML 领域广为人知的多个概念。 选自Jürgen Schmidhuber AI Blog，作者：Jürgen Schmidhuber，机器之心编译，机器之心编辑部。 2020 年最后一天，LSTM 发明人、深度学习元老 Jürgen Schmidhuber 发表博客文章，回顾了 30 年前其团队发表的关于利用人工进行规划和强化学习的研究工作。 他表示，其在 1990 年发表的文章《Making the World Differentiable: On Using Self-supervised Fully Recurrent Neural Networks for Dynamic Reinforcement Learning and Planning in Non-stationary Environment》中（以下简称 FKI-126-90 报告）介绍了一些现在广泛使用的概念，包括以循环神经网络（RNN）作为世界模型进行规划、高维奖励信号（也作为神经控制器的输入）、用于 RNN

来源：知识分子 撰文 ： 全体智源学者 制版编辑：卢卡斯 编者按 编者按 2020年即将过去，今年人工智能领域有哪些重大进展？位于北京的智源人工智能研究院请 “智源学者” 们从全球的研究成果中评选了一份年度成就名单，其中有文本能力惊人的自然语言处理预训练模型GPT-3，有惊艳结构生物学领域的AlphaFold2，也有不少中国学者的成果。名单按对人工智能领域的重要性排序，会是谁拔得头筹呢？ No.10 康奈尔大学提出无偏公平排序模型可缓解检索排名的马太效应问题 近年来，检索的公平性和基于反事实学习的检索和推荐模型已经成为信息检索领域重要的研究方向，相关的研究成果已经被广泛应用于点击数据纠偏、模型离线评价等，部分技术已经落地于阿里和华为等公司的推荐及搜索产品中。2020年7月，康奈尔大学 Thorsten Joachims 教授团队发表了公平无偏的排序学习模型FairCo，一举夺得了国际信息检索领域顶会SIGIR 2020最佳论文奖。该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等，基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法，并实现了排序性能的提升，受到了业界的广泛关注和好评。 No.9 Google与FaceBook团队分别提出全新无监督表征学习算法 2020年初，Google与Facebook分别提出SimCLR与MoCo两个算法