线性拟合

参考自： https://www.zhihu.com/question/268384579 下面的回答。 1.分段线性函数可以拟合任意连续函数，如何理解？ 评论里的回答：可以通过让每个分段的长度无穷小来逼近。 //回答中提到了Borel可测函数，搜了一下发现十分复杂，遂中止。 2.含两个隐层神经元的单隐层感知机可以形成脉冲函数，即累计量大于0的话就为1，否则为0（个人理解）。 感知机中的激活函数为，符号判别函数： 总之使用感知机可以通过积分的思想拟合连续函数： 3.阶梯函数在函数空间是稠密的，所以用连续函数可以逼近可测函数。 4.通用近似定理 https://zhuanlan.zhihu.com/p/39030338 第一次学习通用近似定理。 参考： https://www.jianshu.com/p/d27cbfb01711 5.神 经网络是要拟合数据集的一个连续函数的分布，那么衡量这个拟合结果就需要损失函数，损失函数最小，无约束求极值梯度下降，也可以用熵的原理。 6.浅析 Hinton 最近提出的 Capsule 计划： https://zhuanlan.zhihu.com/p/29435406 来源： https://www.cnblogs.com/BlueBlueSea/p/11921646.html

转载： https://www.cnblogs.com/bigmonkey/p/9897047.html 一维空间的投影矩阵 　　先来看一维空间内向量的投影： 　　向量p是b在a上的投影，也称为b在a上的分量，可以用b乘以a方向的单位向量来计算，现在，我们打算尝试用更“贴近”线性代数的方式表达。 　　因为p趴在a上，所以p实际上是a的一个子空间，可以将它看作a放缩x倍，因此向量p可以用p = xa来表示，只要找出x就可以了。因为a⊥e，所以二者的点积为0： 　　我们希望化简这个式子从而得出x： 　　x是一个实数，进一步得到x： 　　a T b和a T a都是点积运算，最后将得到一个标量数字。这里需要抑制住消去a T 的冲动，向量是不能简单消去的，a和b都是2×1矩阵，矩阵的运算不满足乘法交换律，a T 无法先和1/a T 计算。 　　现在可以写出向量p的表达式，这里的x是个标量： 　　这就是b在a上的投影了，它表明，当b放缩时，p也放缩相同的倍数；a放缩时，p保持不变。 　　由于向量点积a T a是一个数字，p可以进一步写成： 　　在一维空间中，分子是一个2×2矩阵，这说明向量b的在a上的投影p是一个矩阵作用在b上得到的，这个矩阵就叫做投影矩阵（Projection Matrix），用大写的P表达： 　　推广到n维空间，a是n维向量，投影矩阵就是n×n的方阵。观察投影矩阵会法发现

1.欠拟合(underfitting)与过拟合(overfitting) 在机器学习中，我们的主要思想是通过对数据集的学习来生成我们的假设模型。在对数据集进行拟合的过程中，我们可能会遇到欠拟合和过拟合的问题。以身高预测的例子为例，这里给出7-18岁男生的身高标准（数据来源： 7 岁～18 岁儿童青少年身高发育等级评价 ），如图1: 将中位数随年龄的变化绘制成散点图，如图2： 由图2中的散点可知，先开始身高随年龄几乎成一条直线关系，后来增长率逐渐下降。如果我们采用线性函数取拟合，这显然是不合理的（线性函数的增长率不会发生变化）。如果我们用一个多项式函数去拟合，虽然这个多项式可能会很复杂，但是我们总可能找到一个多项式函数使得该函数完美经过图中的散点，如图3： 现在，我们来看一下线性拟合（图3红线）：年龄大于18岁以后，按照散点图的趋势，身高应该逐渐趋于稳定，但是线性拟合的结果是身高随年龄增长依旧保持很高的增长率。显然这并不是一种很好的拟合方式，对于这种情况，我们称之为欠拟合，即高偏差（high bias）。 接下来，我们来看一下“完美的多项式拟合”（图3蓝线）：蓝线的损失函数为0，在回归问题中，我们求解参数矩阵的方法就是尽可能地让损失函数的值最小化。这是否意味着当损失函数为0时，这时我们的学习模型最好呢？并不是这样子的。在”完美的多项式拟合“当中，我们的假设函数通常情况下会非常复杂

文章列表 1. 深度学习基础模型算法原理及编程实现–01.感知机 . 2. 深度学习基础模型算法原理及编程实现–02.线性单元 . 3. 深度学习基础模型算法原理及编程实现–03.全链接 . 4. 深度学习基础模型算法原理及编程实现–04.改进神经网络的方法 . 5. 深度学习基础模型算法原理及编程实现–05.卷积神经网络 . 6. 深度学习基础模型算法原理及编程实现–06.循环神经网络 . 9. 深度学习基础模型算法原理及编程实现–09.自编码网络 . 9. 深度学习基础模型算法原理及编程实现–10.优化方法：从梯度下降到NAdam . … 深度学习基础模型算法原理及编程实现–04.改进神经网络的方法 4.1 基本激活函数认知 4.1.1 sigmoid 5.1.2 tf.tanh 5.1.3 ReLU 5.1.4 Leaky ReLU 5.1.5 Softplus 5.2 增加隐藏层数 5.3 提升学习速率 5.3.1 梯度下降改为随机梯度下降 5.3.2 输出层激活函数与目标函数的选择 5.3.2.1 激活函数为sigmoid函数、损失函数为交叉项 5.3.2.2 激活函数为线性函数且损失函数为平方损失函数 5.3.2.3 损失函数为交叉项的好处 5.3.2.4 柔性最大值（softmax函数） 5.3.2.5 Softmax-loss 5.3.3

这是我的第一篇博客，就献给了时间序列大作业了。为什么第一篇是二呢，因为对于时间序列分析，有传统模型的做法也有降低时间属性重要度，通过特征工程构造其他特征的做法。而我在项目中负责其他方法，正好把论文写完了，那么我就先写这个吧。此文中各模型不涉及推导，只有相关的code和整个流程，具体各模型推导以及实现我将在以后的博客更新。 可能第一篇写的格式还很奇怪。。。markdown也没怎么练习过，emmm不过没关系至少我开始写了hhh 如果code不好或者有bug或者有其他的想法也麻烦写一下哦，感谢！ 数据可在 http://data.stats.gov.cn/easyquery.htm?cn=A01 找到 Prophet Regression Tree Gradient Boosting Decision Tree Random Forest XGBoost BP Neural Network LSTM 对于传统模型，也即我们常说的，AR,MA,ARMA,ARIMA,GARCH等模型，目前在数据挖掘算法盛行的时代，优缺点逐渐显露。传统模型的确在过去的时间里不断发展，完善形成了一种处理时间序列较好并且解释力较足的方法。并且在只有一元时间序列特征的情况下拟合效果与预测效果能达到较好，在多元时间序列特征的情况下能建立VAR

过拟合和欠拟合 过拟合（overfitting) 产生原因 解决办法 欠拟合（underfitting） 产生原因 解决办法 判定 过拟合（overfitting) 过拟合指的是模型在训练集上表现的很好，但是在训练集外的数据集上（e.g.,交叉验证集和测试集）表现一般，也就是说模型对对新数据的预测表现一般，泛化（generalization）能力较差。 产生原因 a.训练数据过少或存在噪音,无法对整个数据的分布进行估计 b.特征维度过多,求解模型中没有那么多的特征值得重用 c.在对模型进行过度训练（overtraining）时，常常会导致模型的过拟合 解决办法 数据清洗、增加训练集、early stopping、数据集扩增（Data augmentation）、正则化（Regularization）、Dropout(神经网络) 欠拟合（underfitting） 过拟合指的是模型没有很好地捕捉到数据特征，导致拟合的函数在训练集上表现效果差，预测的准确率低。 产生原因 解决办法 1.添加其他特征项（e.g.,“组合”、“泛化”、“相关性”），模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。 2.添加多项式特征，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强 3.减少正则化参数，正则化的目的是用来防止过拟合的，当模型出现了欠拟合

　　　　在 集成学习之Adaboost算法原理小结 中，我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结，重点对调参的注意事项做一个总结。 　　　　scikit-learn中Adaboost类库比较直接，就是AdaBoostClassifier和AdaBoostRegressor两个，从名字就可以看出AdaBoostClassifier用于分类，AdaBoostRegressor用于回归。 　　　　AdaBoostClassifier使用了两种Adaboost分类算法的实现，SAMME和SAMME.R。而AdaBoostRegressor则使用了我们原理篇里讲到的Adaboost回归算法的实现，即Adaboost.R2。 　　　　当我们对Adaboost调参时，主要要对两部分内容进行调参，第一部分是对我们的Adaboost的框架进行调参， 第二部分是对我们选择的弱分类器进行调参。两者相辅相成。下面就对Adaboost的两个类：AdaBoostClassifier和AdaBoostRegressor从这两部分做一个介绍。 　　　　我们首先来看看AdaBoostClassifier和AdaBoostRegressor框架参数。两者大部分框架参数相同，下面我们一起讨论这些参数，两个类如果有不同点我们会指出

版权声明：署名，允许他人基于本文进行创作，且必须基于与原先许可协议相同的许可协议分发本文 （ Creative Commons ） 如下所示： 但购买和出售，我们可能要考虑一些其他相关信息，就像当：购买显著数量很可能是我们可以要求并获得折扣，或购买更多更重要的是我们可能会推高价格。 这可能导致像这样的情况，其中总成本不再是数量的线性函数： 通过多项式回归，我们可以将n阶模型拟合到数据上，并尝试对非线性关系进行建模。 如何拟合多项式回归 这是我们模拟观测数据的图。模拟的数据点是蓝色的点，而红色的线是信号（信号是一个技术术语，通常用于表示我们感兴趣检测的总体趋势）。 让我们用R来拟合。当拟合多项式时，您可以使用 通过使用该confint()函数，我们可以获得我们模型参数的置信区间。 模型参数的置信区间： confint（model，level = 0.95） 拟合vs残差图 总的来说，这个模型似乎很适合，因为R的平方为0.8。正如我们所预期的那样，一阶和三阶项的系数在统计上显着。 预测值和置信区间： 将线添加到现有图中： 我们可以看到，我们的模型在拟合数据方面做得不错。 文章来源: https://blog.csdn.net/qq_19600291/article/details/79852448

版权声明：本文为博主原创文章，未经博主允许不得转载。咨询链接：http://y0.cn/teradat 博文链接： https://blog.csdn.net/qq_19600291/article/details/90485459 神经网络一直是迷人的机器学习模型之一，不仅因为花哨的反向传播算法，而且还因为它们的复杂性（考虑到许多隐藏层的深度学习）和受大脑启发的结构。 神经网络并不总是流行，部分原因是它们在某些情况下仍然存在计算成本高昂，部分原因是与支持向量机（SVM）等简单方法相比，它们似乎没有产生更好的结果。然而，神经网络再一次引起了人们的注意并变得流行起来。 neuralnet 包装拟合一个简单的神经网络，并将线性模型作为比较。 数据集 我们将在MASS包中使用Boston数据集。 波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋（medv）的中值。 首先，我们需要检查是否缺少数据点，否则我们需要修复数据集。 apply（data，2，function（x）sum（is.na（x））） 没有遗漏数据，很好。我们通过随机将数据分成火车和测试集来进行，然后我们拟合线性回归模型并在测试集上进行测试。请注意，我正在使用该 gml() 函数而不是 lm() 这将在以后交叉验证线性模型时变得有用。 index < - sample（1

版权声明：努力成为大腿 https://blog.csdn.net/Xin_101/article/details/90512441 1 简介 拟合:依据自变量,优化自变量观测参数,使因变量无限接近有效的真实数据的过程. 过拟合:观测参数"学习"到了自变量数据集的所有特征,包括有效数据和噪声(异常)数据,该模型在训练数据集的成绩斐然,但是,泛化能力较弱,在测试数据集上表现一般,因为该模型将无效数据的特征也提取出来了; 欠拟合:观测参数不能充分学习自变量数据集的特征,属于"差生",一般很少提到欠拟合,因为只要模型不能很好地预测训练集和测试集,就是欠拟合,训练过程中的每一步都是欠拟合的过程,所以,一般不提欠拟合. 2 产生的原因 2.1 过拟合产生的原因 训练集数据量较少,抽样方法错误,样本标签标注错误,导致训练集数不足以表示分类或识别任务; 训练集数据噪声(无效数据,异常数据)过多,使训练过程中将噪声识别为有效特征,破坏了分类或识别; 假设的模型无法合理存在,或假设成立的条件实际不成立,如逻辑回归需要自变量独立,但是图像分割任务中,有数据交叉,不能实现独立; 自变量观测参数太多,模型过于复杂; 决策树模型如果对叶节点没有合理剪枝,使分类阈值无法满足测试数据,泛化能力变弱; 神经网络,训练集数据可能存在分类决策面(分类标准)不唯一,随优化迭代,神经网络权重可能收敛于过于复杂的决策面