数据拟合

二次回归和线性回归的拟合效果的对比 0 导入相关库 import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.preprocessing import PolynomialFeatures from matplotlib.font_manager import FontProperties font_set = FontProperties(fname=r"/usr/share/fonts/vista/YaHeiConsolas.ttf", size=20) 1 预处理 1.1 绘图相关参数设置 def runplt(): plt.figure()# 定义figure plt.title(u’披萨的价格和直径’,fontproperties=font_set) plt.xlabel(u’直径（inch）’,fontproperties=font_set) plt.ylabel(u’价格（美元）’,fontproperties=font_set) plt.axis([0, 25, 0, 25]) plt.grid(True) return plt 1.2 训练集和测试集数据 X_train = [[6], [8],

原文地址： https://www.cnblogs.com/huangyc/p/9686107.html 0. 目录 1. 基本概念 2. 欠拟合和过拟合 2.1 学习曲线 2.2 复杂程曲线 3. 如何解决欠拟合和过拟合 3.1 解决欠拟合 3.2 解决过拟合 回到顶部 1. 基本概念 偏差：偏差度量了学习算法的期望预测与真实结果的偏离程度, 即刻画了学习算法本身的拟合能力 。 方差：方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即刻画了数据扰动所造成的影响 。 欠拟合：模型的经验误差大，模型太简单，在训练的过程中基本没学到有价值的内容，说明模型欠拟合。 过拟合：模型学习了太多的训练样本的“个性”（经验误差小），但是对于未知的样本泛化能力差（泛化误差大），说明过拟合。 经验误差：模型关于 训练样本集 的平均误差（也称经验风险）。 结构风险：结构风险在 经验风险 的基础上加上表示模型复杂度的 正则化项 。 泛化误差：模型在新样本集（测试集）上的平均误差。 泛化误差=偏差+方差+噪声 噪声：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即 刻画了学习问题本身的难度 。 偏差和方差 如果模型是低偏差和低方差，那肯定是最好的一个选择。但是偏差和方差在一定程度上是矛盾的。如果偏差降低，那方差可能会相应的升高，如果方差降低，那偏差可能相应升高

文章目录 一张图看懂过拟合和欠拟合 过拟合 欠拟合 最佳拟合 过拟合原因以及解决办法 欠拟合原因以及解决办法 一张图看懂过拟合和欠拟合 过拟合 通俗解释：对训练的数据支持的非常非常好 定义：一个假设 在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据 ，此时认为这个假设出现了过拟合的现象。(模型过于复杂) 分类的训练数据： 下一次给你相同的数据，也测试的很好，准确率100% 来一个新数据 那我们说这个方块100%是红数据，这样是有错误率的 欠拟合 通俗解释：测啥啥不准 定义：一个假设 在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据 ，此时认为这个假设出现了欠拟合的现象。(模型过于简单) 最佳拟合 不考虑异常数据 过拟合原因以及解决办法 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点 解决办法： 1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。 2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。 3）减少特征维度，防止维灾难 4) 对于Knn来说,近邻的数量非常的重要 欠拟合原因以及解决办法 原因：学习到数据的特征过少 解决办法： 1）添加其他特征项

过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中

过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 1、过拟合和欠拟合 过拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合 欠拟合：模型训练误差无法降低. 如何应对欠拟合和过拟合？在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 1.1.1、模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集，多项式函数拟合的目标是找一个 K 阶多项式函数 来近似y.在上式中，wk是模型的权重参数，b是偏差参数。与线性回归相同，多项式函数拟合也使用平方损失函数。特别地，一阶多项式函数拟合又叫线性函数拟合。 给定训练数据集，模型复杂度和误差之间的关系： 1.1.2、训练数据集过小 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。 2、梯度消失、梯度爆炸 梯度消失和梯度下降原因 梯度消失和梯度爆炸两种情况产生的原因可以总结成2类原因：1.深层网络的结构；2.不合适的损失函数，比如Sigmoid函数

训练误差（training error）和泛化误差（generalization error） 训练误差（training error）指模型在训练数据集上表现出的误差，泛化误差（generalization error）指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验证误差分别求平均。 过拟合和欠拟合 欠拟合（underfitting）是指模型无法得到较低的训练误差。 过拟合（overfitting）是指模型的训练误差远小于它在测试数据集上的误差。 模型复杂度和训练数据集大小都会导致过拟合或者欠拟合。 给定训练数据集，模型复杂度和误差之间的关系：

1.过拟合欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）。 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 2.梯度消失梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 假设一个层数为 L L L 的多层感知机的第 l l l 层 H ( l ) \boldsymbol{H}^{(l)} H ( l ) 的权重参数为 W ( l ) \boldsymbol{W}^{(l)} W ( l ) ，输出层 H ( L ) \boldsymbol{H}^{(L)} H ( L ) 的权重参数为 W ( L ) \boldsymbol{W}^{(L)} W ( L ) 。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping） ϕ ( x ) = x \phi(x) = x ϕ ( x ) = x 。给定输入 X \boldsymbol{X} X ，多层感知机的第 l l l 层的输出 H ( l ) = X W ( 1 ) W ( 2 ) … W ( l ) \boldsymbol{H}^{(l)} = \boldsymbol{X}

七、过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中

本文意在于记录短期学习中同僚总结的知识点，主要学习平台在伯禹https://www.boyuai.com/elites/course/cZu18YmweLv10OeV Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 1.过拟合、欠拟合及其解决方案 训练误差(training error):训练集上的误差 泛化误差(generalization error):用测试集上的误差代替 数据集划分：训练集(train set)/验证集(validate set)/测试集(test set) 其中训练集用来调整模型参数，验证集用来调整超参数 训练误差和泛化误差： 　　　　　训练误差 ：模型在训练数据集上表现出的误差 　　　　　泛化误差 ： 模型在任意一个测试数据样本上表现出的误差的期望，常常用测试数据集上的误差来近似。 　　　　　二者的计算都可使用损失函数（平方损失、交叉熵） 　　　　　机器学习模型应关注降低泛化误差 模型选择： 　　　　　　验证数据集： 　　　　　　　 训练数据集、测试数据集以外的一部分数据

过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中