神经网络

最近十多年来，人工神经网络的研究工作不断深入，获得了巨大进展。很多大家熟悉的技术，比如面部识别、语音翻译、自动驾驶，都是得益于人工神经网络的应用。这种受大脑结构启发而发明的运算模型，是近些年"科技进步"的主要推动力。 但目前广泛应用的神经网络有着很强的局限性，使其无法真正模拟人脑、获得人类的思考推理能力。主流的数字电子硬件算力主要受限于两个方面，冯诺伊曼瓶颈和电子速率瓶颈。 近期一项"光子神经网络"的进展，有望突破硬件限制！ 近日，由徐兴元博士(莫纳什大学)、David Moss教授（斯威本大学）和Arnan Mitchell教授（RMIT大学）的带领的国际研究团队展示了目前世界上最快的人工智能光学神经形态处理器，其运行速度超过每秒11万亿次运算（TeraOPs/s），能够处理超大规模数据。 这一突破以“ 11 TOPS photonic convolutional accelerator for optical neural networks ”为题发表在著名的《自然》杂志上，代表着神经网络和整个神经形态处理的巨大飞跃。该团队展示的是一种"光学神经形态处理器"，其运行速度是以往任何处理器的1000多倍，该系统还能处理创纪录大小的超大规模图像——足以实现完整的面部图像识别，这是其他光学处理器一直无法完成的。详情请阅读 《Nature论文：世界上最快的光子神经形态处理器

点击蓝色“ AI专栏 ”关注我 哟 选择“ 星标 ”，重磅干货，第一时间送达 这是站长第 31 期免费送丰富宝贵的干货资源与教程 本期绝对是 满满的干货 ！ 获取更多资源请关注 【AI专栏】 先上车pa 01 PART 五套深度学习算法教程！ 作为AI 初学者来说，最大的问题就是： 资料太多！！！看不完！！！ 不知道如何取舍！！！人的精力有限！！！ 因此，本次站长就为各位站友把 高效有用 的入门和进阶学习材料整理好了， 并限时无套路免费送给各位站友！！！ AI学习不仅仅在于模型掌握了多少，更多的在于你的算法分析和设计能力、工程实践能力、算法模型的优化能力。 5本享誉全球的AI好书和项目 免费 送给大家 ！！！ 机器学习基础 《机器学习基础》来了， 一书吃透机器学习！ 先总体来看，这本书分为17个章节： 从每一个章节的设置可以看出这份教材设置的非常细致，将机器学习中的基础概念拆分开来讲，想深入了解吃透深度学习的基础，按这个目录来学也是个不错的选择。 【AI专栏】 只做 干货！！！ 在这里没有任何套路！你只需要 长按下方二维码 回复【 2020 】 加站长微信即可立即获取 五套深度学习和算法学习教程和三套Python学习视频！！！ 现在关注他，还有机会添加他的个人微信号，进行一对一的交流，坑位有限(微信号有 5000 人的限制)，大家抓紧吧！ PyTorch官方教程中文版

深度学习与机器学习 https://www.cnblogs.com/qcloud1001/p/9633724.html 一、什么是机器学习？ 通常，为了实现人工智能，我们使用机器学习。我们有几种算法用于机器学习。例如： Find-S算法 决策树算法（Decision trees） 随机森林算法（Random forests） 人工神经网络 通常，有3种类型的学习算法： 1，监督机器学习算法用于进行预测。此外，该算法搜索分配给数据点的值标签内的模式。 2，无监督机器学习算法：没有标签与数据点相关联。这些ML算法将数据组织成一组簇。此外，它需要描述其结构，使复杂的数据看起来简单，有条理，便于分析。 3，增强机器学习算法：我们使用这些算法来选择动作。此外，我们可以看到它基于每个数据点。一段时间后，算法改变其策略以更好地学习。 二、什么是深度学习？ 机器学习只关注解决现实问题。它还需要更加智能的一些想法。机器学习通过旨在模仿人类决策能力的神经网络。ML工具和技术是关键的两个深度学习的窄子集，我们需要用他们来解决需要思考的问题。任何深度神经网络都将包含三种类型的图层： 输入层 隐藏层 输出层 我们可以说深度学习是机器学习领域的最新领域。这是实现机器学习的一种方式。 深度学习与机器学习 我们使用机器算法来解析数据，从数据中学习，并根据所学知识做出明智的决策。基本上，深度学习用于创建人工

大家好，我是北京交通大学的博士研究生，目前在美国西雅图华盛顿大学做博士联合培养，欢迎大家扫描二维码关注《当交通遇上机器学习》，以各类交通大数据为主线，专注于人工智能，机器学习、深度学习在轨道交通和道路交通的科研前沿与应用～ 公众号主要讲述： 循环神经网络RNN、LSTM、卷积神经网络CNN、残差网络ResNet、自编码器AutoEncoder、 图卷积神经网络GCN 等在各类交通大数据（包括 轨道交通刷卡数据、国内外出租车GPS数据、国内外共享单车轨迹数据、共享单车订单数据、公交刷卡数据等 ）领域内的科研前沿与应用现状~ 关注公众号： 后台回复“ 数据 ”即可获取高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式，以及从数据处理（Oracle数据库）、模型构建（机器学习）、编程实现（python）到可视化（ArcGIS）等一系列视频教程和软件安装包。具体请参阅： 你想要的交通大数据和学习资料，分享给你！ 后台回复“ 纽约 ”获取美国纽约10年的出租车轨迹数据以及7年的共享单车轨迹数据下载地址。 后台回复“ 芝加哥 ”获取美国芝加哥6年的共享单车轨迹数据下载地址。 后台回复“ 加州 ”获取美国加州近20年的高速公路交通流量监测数据下载地址。 后台回复“ GCN ”获取GCN在交通领域内的应用总结PPT。 后台回复“ 书籍 ”获取交通领域几本经典pdf书籍，包括城市规划原理

作者：Peter 红色石头的个人网站： 红色石头的个人博客-机器学习、深度学习之路 ​ www.redstonewill.com 系列文章： 吴恩达《Machine Learning》精炼笔记 1：监督学习与非监督学习 吴恩达《Machine Learning》精炼笔记 2：梯度下降与正规方程 吴恩达《Machine Learning》精炼笔记 3：回归问题和正则化 吴恩达《Machine Learning》精炼笔记 4：神经网络基础 吴恩达《Machine Learning》精炼笔记 5：神经网络 吴恩达《Machine Learning》精炼笔记 6：关于机器学习的建议 吴恩达《Machine Learning》精炼笔记 7：支持向量机 SVM 本周的主要知识点是无监督学习中的两个重点：聚类和降维。本文中首先介绍的是聚类中的K均值算法，包含： 算法思想 图解K-Means sklearn实现 Python实现 无监督学习unsupervised learning 无监督学习简介 聚类和降维是无监督学习方法，在无监督学习中数据是没有标签的。 比如下面的数据中，横纵轴都是xx，没有标签（输出yy）。在非监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，快速这个数据的中找到其内在数据结构。 无监督学习应用 市场分割 社交网络分析 组织计算机集群 了解星系的形成 聚类

来源：新浪科技 据报道，旧金山人工智能研究公司OpenAI已经开发了一种新系统，能根据短文本来生成图像。 OpenAI在官方博客中表示，这个新系统名为DALL-E，名称来源于艺术家萨尔瓦多·达利（Salvador Dali）和皮克斯的机器人英雄瓦力（WALL-E）的结合。新系统展示了“为一系列广泛的概念”创造图像的能力，创作的作品包括牛油果形状的扶手椅等。 通过神经网络去生成图像，这种技术并不新颖。此前，生成对抗网络（GAN）已被广泛用于创建真实的人、宠物、租赁房产和食物的照片。 不过，DALL-E的独特之处在于可以根据输入的文本来创作图像。该系统基于文字生成系统GPT-3的一个版本，该系统此前被用于撰写诗歌和新闻文章等。利用配对好的文本和图像数据集进行训练，DALL-E可以根据新的文字提示生成图像，此外还展示了创造多种风格图片的能力。 　　OpenAI还发布了图像识别系统Clip。Clip通用性比当前针对单个任务的系统更好，可以用网上公开的文字图像配对数据集来训练。 　　DALL-E还需要继续优化。OpenAI指出，DALL-E目前的可靠性还存在问题，对类似“glass”等有多个含义的名词常常会混淆，文字中不同的语法也可能会造成不同的结果。 　　此外还有更深层次的问题需要解决。OpenAI表示：“我们注意到，涉及生成模型的工作可能会产生重大而广泛的社会影响。

选自 http:// github.io 作者：Jay Alammar 机器之心编译 原文链接： https://mp.weixin.qq.com/s/tXMA4y1nryAlVO3cBS1LXQ ​ mp.weixin.qq.com 今年涌现出了许多机器学习的精彩应用，令人目不暇接，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。 然而，GPT-2 有着超大的规模，它是一个在海量数据集上训练的基于 transformer 的巨大模型。GPT-2 成功的背后究竟隐藏着什么秘密？本文将带你一起探索取得优异性能的 GPT-2 模型架构，重点阐释其中关键的自注意力（self-attention）层，并且看一看 GPT-2 采用的只有解码器的 transformer 架构在语言建模之外的应用。 作者之前写过一篇相关的介绍性文章「The Illustrated Transformer」，本文将在其基础上加入更多关于 transformer 模型内部工作原理的可视化解释，以及这段时间以来关于 transformer 模型的新进展。基于 transformer 的模型在持续演进

知识蒸馏 | 模型压缩利器_良心总结 https://zhuanlan.zhihu.com/p/138210881 深度学习“炼丹师”,计算机视觉算法工程师 公众号：CV炼丹猿 附：【 Awesome-Knowledge-Distillation 】 1.什么是知识蒸馏 最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，因此这是一个概念上的模型压缩方案。从另一个角度来说，蒸馏可以使得student学习到teacher中更加软化的知识，这里面包含了类别间的信息，这是传统one-hot label中所没有的。由于蒸馏中软化标签的本质，因此蒸馏也可以被认为是一种正则化的策略。总结来说，知识蒸馏除了能够学习到大模型的特征表征能力，也能学习到one-hot label中不存在的类别间信息。现有的知识蒸馏方法主要侧重于两点： 从teacher的什么位置学习 和 用什么方式学习 。以下的总结图概述了本文要介绍的蒸馏方法。 目录结构： 深度学习(异步图书出品) 京东 ¥

感知机（perceptron）是一种线性分类算法，通常用于二分类问题。感知机由Rosenblatt在1957年提出，是神经网络和支持向量机的基础。通过修改损失函数，它可以发展成支持向量机；通过多层堆叠，它可以发展成神经网络。因此，虽然现在已经不再广泛使用感知机模型了，但是了解它的原理还是有必要的。 先来举一个简单的例子。比如我们可以通过某个同学的智商和学习时间（特征）来预测其某一次的考试成绩（目标），如果考试成绩在60分以上即为及格，在60分以下为不及格。这和线性回归类似，只不过设定了一个阈值，使得其可以处理分类问题。 因此，我们定义：给定特征向量x=([x 1 ,x 2 ,...,x n ]) T 以及每个特征的权重w=([w 1 ,w 2 ,...,w n ]) T ，目标y共有正负两类。那么： 对于某个样本，如果其 wx > 阈值（threshold），那么将其分类到正类，记为y=+1； 如果其 wx < 阈值（threshold），那么将其分类到负类，记为y=-1； （注：wx是特征向量和权重向量的点积/内积，wx=w 1 x 1 +w 2 x 2 +...+w n x n ） 也就是说，上式分为两种情况：wx - 阈值（threshold）> 0 或 wx - 阈值（threshold）< 0。我们可以将目标方程式简写成：y=sign(wx+b+ )，对y的估计就是 。

第 1 个问题 To help you practice strategies for machine learning, in this week we’ll present another scenario and ask how you would act. We think this “simulator” of working in a machine learning project will give a task of what leading a machine learning project could be like! You are employed by a startup building self-driving cars. You are in charge of detecting road signs (stop sign, pedestrian crossing sign, construction ahead sign) and traffic signals (red and green lights) in images. The goal is to recognize which of these objects appear in each image. As an example, the above image