Mxnet (6):过拟合和欠拟合
1.过拟合 究其根本我们训练模型,目的是预测也好,分类也好,希望的是无论输入的数据是否训练过,都要维持在高的准确率,就是说普适性。打个比方,我们学习数学的过程,这个过程其实就很像在训练我们大脑中的模型,我们做的练习题就时训练过程,参加考试就是测试模型,对于一个考试,A同学逻辑思维很好,通过平日的练习训练出了解题的逻辑,在考试中拿到了高分;B同学记忆力特别好,做过的每一道题都能记住,恰好这次考试考的题目他都做过,分数比A还高;又一次考试,A还是那些分,但是这次考的题目B都没做过,拿了低分。B同学的训练的模型只适用于他做过的题,而A同学的模型使用于所有题;那么B同学就属于过拟合了。 使训练数据拟合得比拟合基础分布更紧密的现象称为 过拟合 ,而用来对抗过度拟合的技术称为正则化。在前面的部分中,您在尝试使用Fashion-MNIST数据集时可能已经观察到这种效果。如果您在实验期间更改了模型结构或超参数,您可能已经注意到,如果神经元,层数和训练时期足够,即使测试数据的准确性下降,模型最终仍可以在训练集上达到理想的准确性。 同样我们平时思考,处理问题的时候也要知其然知其所以然,不要死记硬背、人云亦云,不然的话大脑也会过拟合,降低判断的准确性 2.训练误差和泛化误差 为了更清晰的理解上面的问题,我们需要区分训练误差(training error)和泛化误差(generalization