误差分析

统计学习方法概论 1.1 统计学习 统计学习 （statistics learning）： 计算机 基于 数据 构建 概率统计模型 并运用 模型 对 数据 进行 预测与分析 。也称为 统计机器学习 （statistics machine learning）。 统计学习的特点： 以 计算机及网络 为平台，是建立在计算机及网络之上的； 以 数据 为研究对象，是数据驱动的学科； 目的是对 数据 进行 预测与分析 ； 统计学习以 方法 为中心，统计学习方法构建 模型 并应用模型进行预测与分析； 是 概率论、统计学、信息论、计算理论、最优化理论及计算机科学等 多个领域的交叉学科； // 现在我们所说的机器学习，往往是指 统计机器学习 。 统计学习的对象 数据（data） 。 首先呢，统计学习从数据出发，提取数据的特征，抽象出数据中的模型，发现数据中的知识，最终又回到对数据的分析预测中去。 其次，作为统计学习的对象，数据是多样的，它包括存在于计算机及网络上的各种 数字 、 文字 、 图像 、 视频 、 音频 数据以及它们的组合。 关于数据的基本假设： 同类数据具有一定的统计规律性。 （什么叫“同类数据”：具有某种共同性质的数据，比如英文文章，互联网网页，数据库中的数据等，它们具有统 计规律性 ，所以可以用 概率统计方法 来进行处理。比如，可以用随机变量描述数据中的特征

导语：递归网络是一类人工神经网络，用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，或用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。 递归神经网络入门教程 引言 递归神经网络是一类人工神经网络，可用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，也可用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。递归网络可以说是最强大的神经网络，甚至可以将图像分解为一系列图像块，作为序列加以处理。由于递归网络拥有一种特定的记忆模式，而记忆也是人类的基本能力之一，所以下文会时常将递归网络与人脑的记忆活动进行类比。 前馈网络回顾 要理解递归网络，首先需要了解前馈网络的基础知识。这两种网络的名字都来自于它们通过一系列网络节点数学运算来传递信息的方式。前馈网络将信息径直向前递送（从不返回已经过的节点），而递归网络则将信息循环传递。 在前馈网络中，样例输入网络后被转换为一项输出；在进行有监督学习时，输出为一个标签。也就是说，前馈网络将原始数据映射到类别，识别出信号的模式，例如一张输入图像应当给予“猫”还是“大象”的标签。 我们用带有标签的图像定型一个前馈网络，直到网络在猜测图像类别时的错误达到最少。将参数，即权重定型后，网络就可以对从未见过的数据进行分类。已定型的前馈网络可以接受任何随机的图片组合，而输入的第一张照片并不会影响网络对第二张照片的分类

本文 转载自简书 ，仅用于个人学习，侵删 YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。 现在YOLO已经发展到v3版本，不过新版本也是在原有版本基础上不断改进演化的，所以本文先分析YOLO v1版本。 关于 YOLOv2/YOLO9000 的分析理解请移步 YOLO v2 / YOLO 9000 。 对象识别和定位 输入一张图片，要求输出其中所包含的对象，以及每个对象的位置（包含该对象的矩形框）。 图1 对象识别和定位 对象识别和定位，可以看成两个任务：找到图片中某个存在对象的区域，然后识别出该区域中具体是哪个对象。 对象识别这件事（一张图片仅包含一个对象，且基本占据图片的整个范围），最近几年基于CNN卷积神经网络的各种方法已经能达到不错的效果了。所以主要需要解决的问题是，对象在哪里。 最简单的想法，就是遍历图片中所有可能的位置，地毯式搜索不同大小，不同宽高比，不同位置的每个区域，逐一检测其中是否存在某个对象，挑选其中概率最大的结果作为输出。显然这种方法效率太低。 RCNN/Fast RCNN/Faster RCNN RCNN开创性的提出了候选区(Region Proposals)的方法，先从图片中搜索出一些可能存在对象的候选区（Selective Search），大概2000个左右

目录 Acknowledge 摘要 交叉熵损失与均方误差损失 损失函数角度 softmax反向传播角度 总结 Acknowledge 这篇文章来自： https://www.cnblogs.com/shine-lee/archive/2019/12/12/12032066.html ，作者：@进击的小学生。从这篇文章来看，博主是个有科研情怀的人。我对这篇文章进行重编辑，以便阅读起来更清晰。 乍一看到某个问题，你会觉得很简单，其实你并没有理解其复杂性。当你把问题搞清楚之后，又会发现真的很复杂，于是你就拿出一套复杂的方案来。实际上，你的工作只做了一半，大多数人也都会到此为止……。但是，真正伟大的人还会继续向前，直至找到问题的关键和深层次原因，然后再拿出一个优雅的、堪称完美的有效方案。 —— from 乔布斯 摘要 损失函数的选择和设计要能表达你所期望的模型所具有的性质与倾向 ，本文分别从 损失函数角度 和 softmax反向传播角度 两个角度来直观地解释为何多分类问题选用交叉熵损失而不使用均方误差损失，具有一定的启发意义。 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比， 一共有 k k k 个类。令网络的输出为 [ y ^ 1 , … , y ^ k ] [\hat{y}_1, \dots, \hat{y}_k] [ y ^ ​ 1

1.引言： 机器人的研究越来越多的得到关注和投入，随着计算机技术和人工智能的发展，智能自主移动机器人成为机器人领域的一个重要研究方向和研究热点。移动机器人的定位和地图创建是自主移动机器人领域的热点研究问题。对于已知环境中的机器人自主定位和已知机器人位置的地图创建已经有了一些实用的解决方法。然而在很多环境中机器人不能利用全局定位系统进行定位，而且事先获取机器人工作环境的地图很困难，甚至是不可能的。这时机器人需要在自身位置不确定的条件下，在完全未知环境中创建地图,同时利用地图进行自主定位和导航。这就是移动机器人的同时定位与地图创建(SLAM) 问题，最先是由SmithSelf 和Cheeseman在1988年提出来的，被认为是实现真正全自主移动机器人的关键。 SLAM问题可以描述为：机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。 在SLAM中，机器人利用自身携带的传感器识别未知环境中的特征标志，然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的全局坐标。这种在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。近几年来，SLAM的研究取得了很大的进展，并已应用于各种不同的环境，如：室内环境、水下、室外环境。 2.SLAM的关键性问题 2.1地图的表示方式 目前各国研究者已经提出了多种表示法

转自 huaweizte123 的CSDN博客 链接 https://blog.csdn.net/huaweizte123/article/details/78803045 第一步、向前传播得到预测数据：向前传播的过程,即数据从输入层输入，经过隐含层，输出层的计算得到预测值，预测值为输出层的输出结果。网络层的输出即，该层中所有节点（神经元）的输出值的集合。我们以图一的神经网络结构为例，分析向前传播过程。 1.得到隐含层的输出y 1, y 2 ,y 3 ： 2.获取到第二层的隐含层输出y 4 ,y 5 ，输入的数据也就是第一层隐含层的输出数据y 1, y 2 ,y 3 。 3、通过输出层，得到最后的预测值y。 第二步、反向传播更新权重：根据样本的真实类标，计算模型预测的结果与真实类标的误差。然后将该误差反向传播到各个隐含层。计算出各层的误差，再根据各层的误差，更新权重。 1.计算输出层的误差：其中z为该样本的类标 2计算第二层隐含层的误差 3.计算第一次隐含层的误差： 4、更新权重：新的权值=原权值+学习速率×该节点的误差×激励函数的导函数的值（f(e)的倒数）×与该节点相连的输入值 4.1更新输入层与第一层隐含层之间的权值： 4.2更新第一层隐含层与第二层隐含层之间的权值 4.3更新第二层隐含层与输出层之间的权值 以上就是反向传播的过程。误差从输出层反向的传到输入层

Bias-variance 分解是机器学习中一种重要的分析技术。 给定学习目标和训练集规模，它可以 把一种学习算法的期望误差分解为三个非负项的和，即本真噪音noise、bias和 variance noise 本真噪音是任何学习算法在该学习目标上的期望误差的下界； ( 任何方法都克服不了的误差) bias 度量了某种学习算法的平均估计结果所能逼近学习目标的程度； （独立于训练样本的误差，刻画了匹配的准确性和质量：一个高的偏置意味着一个坏的匹配） variance 则度量了在面对同样规模的不同训练集时，学习算法的估计结果发生变动的程度。(due to overly complex model) （相关于观测样本的误差，刻画了一个学习算法的精确性和特定性：一个高的方差意味着一个弱的匹配） 来源： https://www.cnblogs.com/focusonoutput/p/12208097.html

小结： （1）时间序列和回归分析的 核心区别 在于对 数据的假设 ：回归分析假设每个样本数据点都是 独立 的；而时间序列则是利用数据之间的 相关性 进行预测。如：时间序列分析中一个基础模型就是AR(Auto-Regressive)模型，它利用过去的数据点来预测未来。 （2）虽然AR模型（自回归模型）和线性回归看上去有很大的相似性。但由于 缺失了独立性 ，利用线性回归求解的AR模型参数会是 有偏的 。但又由于这个 解是一致的 ，所以在实际运用中还是利用线性回归来 近似 AR模型。 （3） 忽视或假设数据的独立性很可能会造成模型的失效 。金融市场的预测的建模尤其需要注意这一点。 　　本文会先说明两者对数据的具体假设差异，再说明AR模型（Autoregressive model 自回模型）为什么虽然看上去像回归分析，但还是有差别，最后也提到一个常见的混淆两者后在金融方向可能出现的问题。 一、回归分析对数据的假设：独立性 在回归分析中，我们假设数据是 相互独立 的。这种独立性体现在两个方面：一方面，自变量(X)是固定的，已被观测到的值，另一方面，每个因变量(y)的误差项是独立同分布，对于线性回归模型来说，误差项是独立同分布的正态分布，并且满足均值为0，方差恒定。 这种数据的独立性的具体表现就是：在回归分析中， 数据顺序可以任意交换 。在建模的时候，你可以随机选取数据循序进行模型训练

1、 梯度下降算法 的正确步骤是什么？ a.计算预测值和真实值之间的误差 b.重复迭代，直至得到网络权重的最佳值 c.把输入传入网络，得到输出值 d.用随机值初始化权重和偏差 e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差 A.abcde B.edcba C.cbaed D.dcaeb 解析：正确答案 D ，考查知识点-深度学习。 2、已知： - 大脑是有很多个叫做神经元的东西构成，神经网络是对大脑的简单的数学表达。 - 每一个神经元都有输入、处理函数和输出。 - 神经元组合起来形成了网络，可以拟合任何函数。 - 为了得到最佳的神经网络，我们用梯度下降方法不断更新模型 给定上述关于神经网络的描述，什么情况下 神经网络模型 被称为深度学习模型？ A.加入更多层，使神经网络的深度增加 B.有维度更高的数据 C.当这是一个图形识别的问题时 D.以上都不正确 解析：正确答案 A ，更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。 3、训练 CNN 时，可以对输入进行旋转、平移、缩放（增强数据）等预处理提高模型泛化能力。这么说是对，还是不对？ A.对 B.不对 解析： 对 。如寒sir所说，训练CNN时，可以进行这些操作。当然也不一定是必须的，只是data augmentation扩充数据后，模型有更多数据训练

一，什么是BP "BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的 神经网络模型 之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用 最速下降法 ，通过反向传播来不断调整网络的权值和阈值，使网络的 误差平方和 最小。 BP神经网络 模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。" 我们现在来分析下这些话： “是一种按误差逆传播算法训练的多层前馈网络” BP是后向传播的英文缩写，那么传播对象 是什么？ 传播的目的是什么？传播的方式是后向，可这又是什么意思呢。 传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差： 即BP的思想可以总结为 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 “BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)” 我们来看一个最简单的三层BP： “BP网络能学习和存贮大量的输入-输出模式映射关系