神经网络算法

SVM与神经网络 支持向量机并不是神经网络，这两个完全是两条不一样的路吧。不过详细来说，线性SVM的计算部分就像一个单层的神经网络一样，而非线性SVM就完全和神经网络不一样了（是的没错，现实生活中大多问题是非线性的），详情可以参考知乎答案。 这两个冤家一直不争上下，最近基于神经网络的深度学习因为AlphaGo等热门时事，促使神经网络的热度达到了空前最高。毕竟，深度学习那样的多层隐含层的结构，犹如一个黑盒子，一个学习能力极强的潘多拉盒子。有人或许就觉得这就是我们真正的神经网络，我们不知道它那数以百千计的神经元干了什么，也不理解为何如此的结构能诞生如此美好的数据 —— 犹如复杂性科学般，处于高层的我们并不能知道底层的”愚群“为何能涌现。两者一比起来，SVM似乎也没有深度学习等那么令人狂热，连Hinton都开玩笑说SVM不过是浅度学习（来自深度学习的调侃）。 不然，个人觉得相对于热衷于隐含层的神经网络，具有深厚的数学理论的SVM更值得让我们研究。SVM背后伟大的数学理论基础可以说是现今人类的伟大数学成就，因此SVM的解释性也非神经网络可比，可以说，它的数学理论让它充满了理性，这样的理性是一个理工科生向往的。就如，你渴望知道食物的来源以确定食物是否有毒，如果有毒是什么毒，这样的毒会在人体内发生了什么反应以致于让你不适 —— 我的理性驱使我这么想，一个来路不明的食物是不能让我轻易接受的。

8.1 非线性假设 线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大 举例：识别视觉对象（汽车），利用很多汽车的图片和很多非汽车的图片，然后利用这些图片上一个个像素的值（饱和度或亮度）来作为特征 假如我们只选用灰度图片，每个像素则只有一个值（而非 RGB值），我们可以选取图片上的两个不同位置上的两个像素，然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车；假使我们采用的都是50x50像素的小图片，并且我们将所有的像素视为特征，则会有 2500个特征，两两组合今300万个特征。普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们需要神经网络。 8.2 神经元和大脑 神经网络是计算量有些偏大的算法。然而大概由于近些年计算机的运行速度变快，才足以真正运行起大规模的神经网络，如今的神经网络对于许多应用来说是最先进的技术 大脑的假设机制：存在一种学习算法，可以同时处理视觉、听觉和触觉 举例：耳朵到听觉皮层的神经切断，眼睛到视神经的信号最终将传到听觉皮层，最终学会看；躯体感觉皮层，用来处理触觉的，也能学会“看”；用舌头学会“看”；人体回声定位或者说人体声纳；触觉皮带以使人拥有方向感，用类似于鸟类感知方向的方式；青蛙身上插入第三只眼，青蛙也能学会使用那只眼睛 8.3 模型表示1 每一个神经元都可以被认为是一个处理单元/神经核（processing

起源：线性神经网络与单层感知器 古老的线性神经网络，使用的是单层Rosenblatt感知器。该感知器模型已经不再使用，但是你可以看到它的改良版：Logistic回归。 可以看到这个网络，输入->加权->映射->计算分类误差->迭代修改W、b，其实和数学上的回归拟合别无二致。 Logistic回归对该模型进行了改良： 线性神经网络（回归）使用的LMS（最小均方）的数学原理其实可由最大似然估计+假设误差概率模型得到。（详见Andrew Ng视频） 在二类分类（误差非0即1）情况下，适用于连续型数据的最小均方显然不是很好的cost函数，会引起梯度过大。 仿照线性回归假设误差服从正态分布建立概率模型，Logistic回归假设误差服从二项分布建立概率模型。 Logistic函数的（0~1连续特性）在这里充当着，由输入评估概率的角色，而不是像下面的BP网络一样，起的是高维空间非线性识别作用。 该手法同样在RBM限制玻尔兹曼机中使用。 实际上，这两种模型的起源都是最小二乘法的线性回归。不同的是，早期的解决线性回归使用的矩阵解方程组，求得参数。 而基于梯度下降使目标函数收敛的数学方法，在计算神经科学领域，就变成神经网络了。 Part I ：BP网络的结构与工作方式 BP网络中使用隐层（HideLayer）设定，目的是通过全连接的网络+非线性Sigmoid函数，疯狂地通过特征空间映射来区分非线性数据

欢迎关注WX公众号：【程序员管小亮】 专栏——深度学习入门笔记 声明 1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。 2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。 3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。 4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。 文章目录 欢迎关注WX公众号：【程序员管小亮】 专栏——深度学习入门笔记 声明 深度学习入门笔记（十四）：Softmax 1、Softmax 回归 2、训练一个 Softmax 分类器 推荐阅读 参考文章 深度学习入门笔记（十四）：Softmax 1、Softmax 回归 如果是二分分类的话，只有两种可能的标记——0或1，如果是猫咪识别例子，答案就是：这是一只猫或者不是一只猫； 如果有多种可能的类型的话呢？有一种 logistic 回归的一般形式，叫做 Softmax 回归，能在试图识别某一分类时做出预测，或者说是多种分类中的一个，不只是识别两个分类，一起看一下。 假设不单单需要识别猫，而是想识别猫，狗和小鸡，其中把猫称为类1，狗为类2，小鸡是类3，如果不属于以上任何一类，就分到“其它”或者说“以上均不符合”这一类

　　神经网络曾经很火，有过一段低迷期，现在因为深度学习的原因继续火起来了。神经网络有很多种：前向传输网络、反向传输网络、递归神经网络、卷积神经网络等。本文介绍基本的反向传输神经网络（Backpropagation 简称BP），主要讲述算法的基本流程和自己在训练BP神经网络的一些经验。 BP神经网络的结构 　　神经网络就是模拟人的大脑的神经单元的工作方式，但进行了很大的简化，神经网络由很多神经网络层构成，而每一层又由许多单元组成，第一层叫输入层，最后一层叫输出层，中间的各层叫隐藏层，在BP神经网络中，只有相邻的神经层的各个单元之间有联系，除了输出层外，每一层都有一个偏置结点： 　　虽然图中隐藏层只画了一层，但其层数并没有限制，传统的神经网络学习经验认为一层就足够好，而最近的深度学习不这么认为。偏置结点是为了描述训练数据中没有的特征，偏置结点对于下一层的每一个结点的权重的不同而生产不同的偏置，于是可以认为偏置是每一个结点（除输入层外）的属性。我们偏置结点在图中省略掉： 　　在描述BP神经网络的训练之前，我们先来看看神经网络各层都有哪些属性： 每一个神经单元都有一定量的能量，我们定义其能量值为该结点j的输出值$O_j$； 相邻层之间结点的连接有一个权重$W_{ij}$，其值在[-1,1]之间； 除输入层外，每一层的各个结点都有一个输入值

原文地址 目录 1. 图嵌入概述 2. 图嵌入的挑战 3. 图嵌入的方法 4. 参考文献 1. 图嵌入概述 图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热点。图分析任务可以大致抽象为以下四类:( a )节点分类，( b )链接预测，( c )聚类，以及( d )可视化。其中，节点分类旨在基于其他标记的节点和网络拓扑来确定节点的标签(也称为顶点)。链路预测是指预测缺失链路或未来可能出现的链路的任务。聚类用于发现相似节点的子集，并将它们分组在一起；最后，可视化有助于深入了解网络结构。 真实的图（网络）往往是高维、难以处理的，20世纪初，研究人员发明了图形嵌入算法，作为降维技术的一部分。他们首先根据实际问题构造一个D维空间中的图，然后将图的节点嵌入到d（d<<D）维向量空间中。嵌入的思想是在向量空间中保持连接的节点彼此靠近。拉普拉斯特征映射（Laplacian Eigenmaps）和局部线性嵌入（Locally Linear Embedding ，LLE）是基于这一原理的算法的例子。然而，可伸缩性是这种方法的一个主要问题，它的时间复杂度是 。 自2010年以来，关于图嵌入的研究已经转移到解决网络稀疏性的可伸缩图嵌入技术上。例如，图分解（Graph Factorization

目录 一、非线性估值Non-Linear Hypothesis 二、神经网络建模 Neural Network 三、复习逻辑回归问题矩阵式 3.1 没有进行正则化 3.2 进行正则化 四、神经网络的代价函数 4.1 符号约定Notation 4.2 代价函数 五、反向传播算法 Backpropagation Alg 5.1 任务 5.2 一个训练样本 5.3 一个训练集 5.4 实现细节——随机初始化权重 5.5 实现细节——梯度检查 六、识别手写数字神经网络的实现过程 6.1 前项传播实现代价函数 6.2 前向传播+反向传播实现导数 6.3 实现随机初始化权重 6.4 实现sigmoid导数 复习Andrew Ng的课程Machine Learning，总结神经网络笔记一篇，涵盖课程week4、week5。 一、非线性估值Non-Linear Hypothesis 前面两篇博客讨论的技术——线性回归、逻辑回归，不管估值函数 形式如何，参数与特征之间、特征各个维度之间的计算是都是线性的，也是 。这里面没有出现如 这样非线性的项。非线性的估值特别困难，原因在于非线性的特征太多，增长的速度也太快。 举个例子，在图像分类问题中，分类是否是一个“汽车”。一张50×50分辨率的图像有2500个像素，这2500个像素就是2500个特征（如果是RGB图像，那么就是2500×3=7500个特征）

目录 1.深度学习发展历程 1.1图灵测试 1.2分级处理信息 1.3深度学习 2.机器学习 2.1范畴 2.2分类 3.神经网络 3.1初识神经网络 3.2神经网络实例-paddle学习手写数字分类 第一步：准备数据 第二步：定义神经网络-卷积神经网络LeNet-5 第三步：初始化paddle 第四步：获取训练器 第五步：开始训练 1.深度学习发展历程 1.1图灵测试 图灵测试由艾伦·麦席森·图灵发明，指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果机器让平均每个参与者做出超过30%的误判，那么这台机器就通过了测试，并被认为具有人类智能。图灵测试一词来源于计算机科学和密码学的先驱艾伦·麦席森·图灵写于1950年的一篇论文《计算机器与智能》，其中30%是图灵对2000年时的机器思考能力的一个预测，目前我们已远远落后于这个预测。 1.2分级处理信息 大脑认知：1.边缘特征 2.基本形状和目标的局部特征 3.整个目标 高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化，也即越来越能表现语义或者意图。从视网膜出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层的整个目标（如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。 如下为人脑神经元作用示意图： 1

前馈神经网络—BP算法 简要介绍： 神经元模型：一个神经元接受多个输入，其自身有一个阈值，输入的强度达到阈值，便会兴奋，输出1，达不到便不兴奋输出0. 其数学模型是 y = f ( ∑ i = 1 n w i x i − θ ) y=f(\sum_{i=1}^nw_ix_i-\theta) y = f ( i = 1 ∑ n ​ w i ​ x i ​ − θ ) 其中 f f f 为激励函数，有多种， 1 .sigmod函数 f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^-x} f ( x ) = 1 + e − x 1 ​ 2 .Relu函数 f ( x ) = m a x ( x , 0 ) f(x)=max(x,0) f ( x ) = m a x ( x , 0 ) 3 .softmax函数 f ( x ) = e y i ∑ e y i f(x)=\frac{e^{y_i}}{\sum e^{y_i}} f ( x ) = ∑ e y i ​ e y i ​ ​ 神经网 包括输入层：只负责输入，不负责运算 隐层：运算 输出层：运算且输出，输出层和隐层算上层数 神经元之间是全连接，用突触连接，每个突触有一个权重 参数 对于一个神经网络而言，每个神经元的阈值 θ \theta θ ，每一条突触的权重 W W W 都是参数 神经网络的本质

文章目录 课程摘要 What is neural network Simple neural network Multiple neural network Supervised leaning for Nenural Network Structured and Unstructured data Why is Deep Learning taking off 深度学习过程 课程摘要 从这门课中我们可以学到： 神经网络和深度学习 提高神经网络：超参数调整，正则化，优化 构建你的机器学习项目 卷积神经网络 自然语言处理：建立RNN What is neural network 神经网络是由人类大脑启发的学习算法 下面通过房屋预测来了解神经网络 Simple neural network 房地产市场中， 当给定房屋的大小 ，想要通过一种 适合的函数 来 预测价格 这是一个线性回归(linear regression)问题，因为价格随着房屋大小的函数连续输出 价格不会是负数，所以使用一种叫做ReLU(Rectified Linear Unit)的函数，起点为0。 这个函数就是一个神经元(neural)。 这个神经网络构建如下。 一个简单的神经网络有三个要素： 输入：size 神经元：ReLU函数 输出：price 利用这个神经网络，给定一个输入 x ，即可得到一个输出 y。