神经网络算法

MNIST数据集信息参考： http://yann.lecun.com/exdb/mnist/index.html MNIST是手写数字0~10图片数据集，每一张图片包含28*28个像素。 MNIST训练数据集 包含：（1.）60000张图片的像素信息，因为 神经网络的输入层表示特征的维度 ，所以将图像表示成一个[60000,28,28]的pixel张量；（2.）60000张图片的标签信息，表示成一个[60000,10]的矩阵，因为图片的标签是介于0-9的数字，把标签分为10类进行one-hot编码(一个one-hot向量除了某一位数字是1以外，其余维度数字都是0)，比如标签0将表示为([1,0,0,0,0,0,0,0,0,0])。 MNIST测试数据集 包含10000张图片的像素信息，同训练数据集一样，将这10000张图片的像素信息，表示成一个[10000,28,28]的张量，将10000张图片的标签表示成[10000,10]的矩阵。 此外，还需要把每张图片的像素信息转化成向量形式，即将[28,28]的矩阵按行拉平成[1,784]的向量，即把数据集转成 [60000, 784]才能放到网络中训练。 第一个维度数字用来索引图片，第二个维度数字用来索引每张图片中的像素点。 一般还需要把图片中的像素数组归一化为0-1之间。 1. 修改模型编译compile信息 import numpy

普通数据标准化 Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化 神经网络的一种方法. 具有统一规格的数据, 能让机器学习更容易学习到数据之中的规律. 每层都做标准化 在神经网络中, 数据分布对训练会产生影响. 比如某个神经元 x 的值为1, 某个 Weights 的初始值为 0.1, 这样后一层神经元 计算结果就是 Wx = 0.1; 又或者 x = 20, 这样 Wx 的结果就为 2. 现在还不能看出什么问题, 但是, 当我们加上一层激励函数, 激活这个 Wx 值的时候, 问题就来了. 如果使用 像 tanh 的激励函数, Wx 的激活值就变成了 ~0.1 和 ~1, 接近于 1 的部已经 处在了 激励函数的饱和阶段, 也就是如果 x 无论再怎么扩大, tanh 激励函数输出值也还是 接近1. 换句话说, 神经网络在初 始阶段已经不对那些比较大的 x 特征范围 敏感了. 这样很糟糕, 想象我轻轻拍自己的感觉和重重打自己的感觉居然没什么 差别, 这就证明我的感官系统失效了. 当然我们是可以用之前提到的对数据做 normalization 预处理, 使得输入的 x 变化范围 不会太大, 让输入值经过激励函数的敏感部分. 但刚刚这个不敏感问题不仅仅发生在神经网络的输入层, 而且在隐藏层中也经常会发生. 只是时候

初步了解神经网络 【学习自http://www.ruanyifeng.com/blog/2017/07/neural-network.html】 最早的神经元模型-感知器 上图的圆圈就代表一个感知器。它接受多个输入（x1，x2，x3...），产生一个输出（output），好比神经末梢感受各种外部环境的变化，最后产生电信号。 为了简化模型，我们约定每种输入只有两种可能：1 或 0。如果所有输入都是1，表示各种条件都成立，输出就是1；如果所有输入都是0，表示条件都不成立，输出就是0。 各种因素很少具有同等重要性：某些因素是决定性因素，另一些因素是次要因素。因此，可以给这些因素指定权重（weight），代表它们不同的重要性。 比如是否出去玩由三个因素决定: 因素一:明天的天气 因素二:明天的心情 因素三:有没有妹子一起去 虽然是由这三个因素决定，但是每个因素的比重不一样，显然因素三最重要一些我们假设其是8，因素二第二位假设是4，因素三最不重要是第三位权值2，那么可以得出下表 因素 权值 是否具有 天气 4 1 妹子 8 1 心情 2 0 总分=4+8+0=12 最终是否去不去还是由 阈值 来决定，阈值的高低代表了意愿的强烈，阈值越低就表示越想去，越高就越不想去，当总分大于阈值的时候就会决定去，总分小于等于阈值，就不回去，这是一种决策过程。 数学表达 决策模型

https://www.toutiao.com/a6657069801371861518/ 2019-02-12 19:10:46 真实世界中，许多重要的数据集都是以图或者网络的形式存在的，比如社交网络，知识图谱，蛋白质相互作用网，世界贸易网等等。然而，迄今为止，却很少有人关注并且尝试将神经网络一般化后应用在这样的数据集上，而现在深度学习在人工智能领域大形其道，如果能够将神经网络和图分析进行结合，将会解决许多的问题，本文中重点介绍在图神经网络中的两个很重要的算法DeepWalk and GraphSage. Graph结构 图结构是计算机中很重要的一个数据结构，一个图结构包括两个部分: 顶点(node)和边(edge),即表示的形式是: 图分为有向图和无向图， 有向图是边上带有方向，表示两顶点的依赖是有方向性的，如图所示 图神经网络 来源： CSDN 作者： 喜欢打酱油的老鸟 链接： https://blog.csdn.net/weixin_42137700/article/details/87159371

机器之心： 您可以介绍一下图神经网络和传统图模型，以及原来的深度学习之间的关系吗？ 刘知远： 对于这个问题，我们需要看是从什么角度来考虑。 从研究任务的角度来看，比如数据挖掘领域的 社会网络分析 问题 像 DeepWalk、LINE 这些 graph embedding 算法，聚焦在如何对网络节点进行低维向量表示，相似的节点在空间中更加接近。 图神经网络（GNN） ① GNN可以对一个节点进行语义表示。 GNN可以更好地考虑这个节点周围的丰富信息，对单个节点的表示也可以做的比过去方法更好。 ② GNN可以表示子图的语义信息。 GNN可以把网络中一小部分节点构成的社区（community）的语义表示出来，这是 graph embedding 不容易做到的。 ③ GNN可以把网络当成一个整体进行建模。 它可以在整个网络上进行信息传播、聚合等建模。 知识图谱 TransE 等 知识表示学习方法 ，一般是将知识图谱按照三元组来学习建模， 学到每个实体和关系的低维向量表示 ，这样就可以去进行一些链接预测和实体预测任务。 GNN 则有希望把整个知识图谱看成整体进行学习，并可以在知识图谱上开展注意力、卷积等操作，以 学习图谱中实体与实体之间的复杂关系 。即使实体间没有直接连接，GNN 也可以更好地对它们的关系建模。 关系 随机游走、最短路径等 图方法 利用知识图谱这种符号知识

图神经网络（GNN）热度持续上升，之前我们曾介绍了清华两篇综述论文，参见：深度学习时代的图模型，清华发文综述图网络，和清华大学图神经网络综述：模型与应用。最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等，详细介绍了各种模型与方法，包括公式、模型图示、算法等，希望对大家有所帮助。 引言 深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合，但多种端到端深度学习方式（即卷积神经网络、长短期记忆网络和自编码器）改变了这种状况。深度学习在多个领域的成功主要归功于计算资源的快速发展（如 GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。例如 CNN 可以利用平移不变性、局部连通性和图像数据语意合成性，从而提取出与整个数据集共享的局部有意义的特征，用于各种图像分析任务。 尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据已经取得更广泛的应用，它们需要有效分析。例如，在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图

https://www.toutiao.com/a6657732617623831051/ 2019-02-14 14:02:50 【新智元导读】 图神经网络(GNN)在各个领域越来越受欢迎，本文介绍了图神经网络的基本知识，以及两种更高级的算法：DeepWalk和GraphSage。 最近，图神经网络 (GNN) 在各个领域越来越受到欢迎，包括社交网络、知识图谱、推荐系统，甚至生命科学。 GNN 在对图形中节点间的依赖关系进行建模方面能力强大，使得图分析相关的研究领域取得了突破性进展。本文旨在介绍图神经网络的基本知识，以及两种更高级的算法： DeepWalk 和 GraphSage 。 图 (Graph) 在讨论 GNN 之前，让我们先了解一下什么是 图 (Graph) 。在计算机科学中，图是由两个部件组成的一种数据结构： 顶点 (vertices) 和 边 (edges) 。一个图 G 可以用它包含的顶点 V 和边 E 的集合来描述。 边可以是 有向的 或 无向的 ，这取决于顶点之间是否存在方向依赖关系。 一个有向的图 (wiki) 顶点通常也被称为 节点 (nodes) 。在本文中，这两个术语是可以互换的。 图神经网络 图神经网络是一种 直接在图结构上运行 的神经网络。GNN 的一个典型应用是 节点分类 。本质上，图中的每个节点都与一个标签相关联，我们的目的是预测没有

*总结涵盖吴恩达老师神经网络和深度学习课程第一周和第二周的内容 提纲 1、深度学习概要 2、神经网络基础 3、课程中编程技巧总结 1、深度学习概要 在这一部分，我希望结合视频内容对“深度学习”和“神经网络”两个词形成自己的表述。视频课程里的说法是“深度学习”是用来训练“神经网络”的一种算法，首先，什么是“神经网络”，其次，“训练”是个很抽象的词，我们会说训练人或训练动物，但对于一个非生物的“神经网络”，什么叫“训练”，怎么“训练”？ 1.1 神经网络 为说明这个概念，给出两个预测房价的例子。 （1）例1 : 假设有现成的6组数据，每组数据对应一个待售的房屋，含面积(size)和售价(price)两个量，现在希望利用这现成的6组数据，给出现有数据外的一个房屋，仅根据房屋的面积预测房屋的售价。 思路： 建立一个二维坐标轴，横轴代表房屋面积，纵轴代表房屋售价，根据线性回归的知识，我们可以拟合出一条直线 ，其中 k和 b的值可以根据现成的6组数据求出，同时考虑到实际房屋售价不可能为负，将负值部分用一条与横轴重合的水平直线代替，示意图如下。 这样，我们在房屋面积和售价之间建立了一对一的映射，或者说我们得到了一个以面积为自变量，售价为因变量的函数，给出面积，就能映射出售价。如果我们仅仅关心输入与输出，相当于存在一个黑箱，能将输入的房屋面积转化为输出的房屋售价，这一充当转换器功能的黑箱就是一个

本文主要是实现了根据人脸识别性别的卷积神经网络,并对卷积过程中的提取特征进行了可视化. 卷积神经网络 卷积神经网络最早是为了解决图像识别的问题,现在也用在时间序列数据和文本数据处理当中,卷积神经网络对于数据特征的提取不用额外进行,在对网络的训练的过程当中,网络会自动提取主要的特征. 卷积神经网络直接用原始图像的全部像素作为输入,但是内部为非全连接结构.因为图像数据在空间上是有组织结构的,每一个像素在空间上和周围的像素是有关系的,和相距很远的像素基本上是没什么联系的,每个神经元只需要接受局部的像素作为输入,再将局部信息汇总就能得到全局信息. 权值共享和池化两个操作使网络模型的参数大幅的减少,提高了模型的训练效率. 卷积神经网络主要特点 权值共享: 在卷积层中可以有多个卷积核,每个卷积核与原始图像进行卷积运算后会映射出一个新的2D图像,新图像的每个像素都来自同一个卷积核.这就是权值共享. 池化: 降采样,对卷积(滤波)后,经过激活函数处理后的图像,保留像素块中灰度值最高的像素点(保留最主要的特征),比如进行 2X2的最大池化,把一个2x2的像素块降为1x1的像素块. 卷积网络的训练数据（112 * 92 * 3图形） 从data目录读取数据，famale存放女性图片，male存放男性图片 def read_img(list,flag=0): for i in range(len

Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络 朱晓霞 发表于 目标检测和深度学习 订阅 457 广告 关闭 11.11 智慧上云 云服务器企业新用户优先购，享双11同等价格 立即抢购 新智元报道 来源：arXiv 编译：肖琴、克雷格 【新智元导读】 深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMind等的研究人员提交的distillation的更进一步工作：通过online distillation进行大规模分布式神经网络训练。该工作提出了Codistillation的概念，通过大规模实验，发现codistillation方法提高了准确性并加快了训练速度，并且易于在实践中使用。 论文地址：https://arxiv.org/pdf/1804.03235.pdf 在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在 distillation 这一想法做了一些前沿工作，包括Distill the Knowledge in a Neural Network等。今天我们介绍的是Hinton作为作者之一，谷歌大脑