欠拟合

　　我正在做一个关于SVM的小项目，在我执行验证SVM训练后的模型的时候，得到的report分数总是很高，无论是召回率（查全率）、精准度、还是f1-score都很高： 图1 分类器分数report 　　但是，对于训练的效果就非常差，差到连包含训练集的测试集都无法正确分类，如下图所示，左边是原图像，右边是分类图像，（我标注的标签样本是黄色区域与褐色区域），其中SVC的默认参数为rbf、C=1.0、gamma=“auto_deprecated”，LinearSVC的默认参数为：C=1.0、class_weight=none、dual=true、loss=“squard_hinge”: a.原图 b.SVC（default parameter） c.LinearSVC(default parameter) 图2. 默认分类效果 　　 　　由上文可以发现，分类器分类的效果很不好，为了进一步验证这个问题的原因，接下来我分别对LinearSVC和SVC进行参数调整： 1、LinearSVC参数调整 C：使用损失函数是用来对样本的分类偏差进行描述，例如: 由上文可以发现，分类器分类的效果很不好，为了进一步验证这个问题的原因，接下来我分别对LinearSVC和SVC进行参数调整： 1、LinearSVC参数调整 C：使用损失函数是用来对样本的分类偏差进行描述，例如: 引入松弛变量后

【说在前面】本人博客新手一枚，象牙塔的老白，职业场的小白。以下内容仅为个人见解，欢迎批评指正，不喜勿喷！[握手][握手] 1. 数据预处理 1.1 选择数据样本（企业级应用） 例如客观选择某一时间段内的所有样本集合等（避免人为主观选择） 例如在评价样本中去除恶意/随意评价样本等（避免错误样本的干扰） 1.2 可视化特征分布 dataframe.info/dataframe.describe等（查看数据样本的整体分布情况） dataframe.plot/matplotlib/seaborn等（包括柱状图/散点图/折线图等） 1.3 缺失值处理 如果某样本的缺失记录占比较大： 可统计为“缺失量” 可直接删除该样本 如果某特征的缺失记录占比较大： 可二值化为“有/无” 可直接删除该样本 如果某样本/特征的缺失记录占比较小： 可根据领域知识补全 数值型：可根据均值/众数/模型预测等补全 类别型：可以定义为新的类别等 可不处理，有些模型对缺失值不敏感：例如树模型/神经网络等 1.4 异常值处理 异常值判定：需根据数据分布/业务场景等 RobustScaler/robust_scale等 之后会推出异常值检测专题 可直接删除该样本 可采用缺失值的处理方式 注意数据不一致问题 注意数值型可用盖帽/对数变换等压缩 可不处理，有些模型对异常值不敏感：例如KNN/随机森林等 2. 特征工程 2.1

【推荐阅读】微服务还能火多久？>>> 一、前言 本文是文本分类模型的第三弹，利用词袋模型（BoW），词频逆文档频率（TF-IDF）与 LightGBM 模型进行文本分类。 原本计划的第三弹内容为 TextCNN 网络，介于最近刚刚利用 LightGBM 完成了一个简单的文本分类的任务，就趁热记录一下，作为第三弹的内容。 这里是文本分类系列： 文本分类模型第一弹：关于Fasttext，看这一篇就够了 文本分类模型第二弹：HAN(Hierarchy Attention Network) 文本分类模型第三弹：BoW(Bag of Words) + TF-IDF + LightGBM 二、相关论文及理论 1.LightGBM 这里是 LightGBM 提出的论文《 LightGBM: A Highly Efficient Gradient Boosting Decision Tree 》，LightGBM 本质上也是 梯度提升树（GBDT）的优化模型，GBDT 的本质是回归树模型，在做分类任务时，通过“回归相应类别”的概率值，来曲线完成分类任务。LightGBM 与上一代 kaggle 神器 Xgboost 相比，由于采用了直方图算法（用于特征处理），和 Leaf-wise 的树分裂方法（用于模型构建），模型准确度更高，训练耗时更低。其不仅应用于传统的机器学习回归及二分类，多分类任务，在

【推荐阅读】微服务还能火多久？>>> Q1 过拟合与欠拟合的区别是什么，什么是正则化 欠拟合指的是模型不能够再训练集上获得足够低的 「 训练误差 」 ，往往由于特征维度过少，导致拟合的函数无法满足训练集，导致误差较大。 过拟合指的是模型训练误差与测试误差之间差距过大；具体来说就是模型在训练集上训练过度，导致泛化能力过差。 「 所有为了减少测试误差的策略统称为正则化方法 」 ，不过代价可能是增大训练误差。 Q2 解决欠拟合的方法有哪些 降低欠拟合风险主要有以下3类方法。 加入新的特征，对于深度学习来讲就可以利用因子分解机、子编码器等。 增加模型复杂度，对于线性模型来说可以增加高次项，对于深度学习来讲可以增加网络层数、神经元个数。 减小正则化项的系数，从而提高模型的学习能力。 Q3 防止过拟合的方法主要有哪些 「 1.正则化 」 正则化包含L 1 正则化、L 2 正则化、混合L 1 与L 2 正则化。 「 L 1 正则化 」 目的是减少参数的绝对值总和，定义为： 「 L 2 正则化 」 目的是减少参数平方的总和，定义为： **混合L 1 与L 2 **正则化是希望能够调节L 1 正则化与L 2 正则化，定义为： 因为最优的参数值很大概率出现在 「 坐标轴 」 上，这样就会导致某一维的权重为0，产生 「 稀疏权重矩阵 」 。而L 2 正则化的最优的参数值很小概率出现在坐标轴上

文章目录 一、视觉任务数据的特征 二、现有文献是怎么解决这类问题的 二、本文做法 三、方法 四、实验结果 论文路径： http://www.weixiushen.com/publication/cvpr20_BBN.pdf 代码路径： https://github.com/Megvii-Nanjing/BBN 一、视觉任务数据的特征 机器视觉的代表数据集有很多，如 ImageNet ILSVRC 2012, MS COCO, Places Database等。这些数据集中的数据量是大致均匀分布的，但实际中，存在大量的长尾分布数据，也就是少数类别有大部分数据，而多数类别只有小部分数据，如图1所示。 这样的数据分布会使得网络嫩姨获得良好的识别效果，原因有两个： 其一是 data-hungry limitation of models 其二是长尾分布数据的极端不平衡问题。 二、现有文献是怎么解决这类问题的 现有的文献中，常用的解决这种极度不平衡的方法是： class re-balancing 策略，比如 re-weighting 或 re-sampling。 正面作用： 能够调整网络的训练，通过在小批量内对样本重新取样或对样本损失重新加权，期望更接近于测试的分布，因此，类别的 re-balancing 可以直接影响深层网络分类器权重的更新，从而促进分类器的学习。 负面作用： re

本文作者：HelloDeveloper 很多人说，看了再多的文章，可是没有人手把手地教授，还是很难真正地入门AI。为了将AI知识体系以最简单的方式呈现给你，从这个星期开始，芯君邀请AI专业人士开设“周末学习课堂”——每周就AI学习中的一个重点问题进行深度分析，课程会分为理论篇和代码篇，理论与实操，一个都不能少！ 读芯术，一个专注年轻人的AI学习与发展平台（ID:AI_Discovery）。 来，退出让你废寝忘食的游戏页面，取消只有胡吃海塞的周末聚会吧。未来你与同龄人的差异，也许就从每周末的这堂AI课开启了！ 全文共 4078 字，预计学习时长 10 分钟 同学们，你们是否对过拟合问题百思不得其解？很有可能你跟曾经的我一样，踏入了一个误区。 一开始，我在用自己学到的各种模型对数据做预测时，有时候自己的模型与训练数据拟合的非常好，但在测试样例中却表现的很糟糕。 是模型不够好？数据有问题？ 于是我就换用更复杂的模型，在神经网络中也尝试不断地增加层数，结果模型与训练数据拟合的越来越好，但在测试样例中表现的越来越糟糕。 这是我曾经踏入的一个误区，总以为模型和算法是机器学习的核心，不知不觉就陷入了所谓的过拟合（Overfitting）陷阱，如果在机器学习中真的有一个不得不谈的话题，那必定是过拟合。 事实上，在整个机器学习中，哪怕不懂决策树，不懂贝叶斯模型，不懂支持向量机

3 月，跳不动了？>>> 机器学习工程师是现在的热门职位，因为其极高的薪资成为很多技术人的晋升目标。本文总结了部分一线互联网公司机器学习工程师的面试题及面试指南，希望对各位技术人员的进阶之路有所帮助。 阿里巴巴 根据参加过阿里巴巴机器学习算法工程师面试的技术人员反馈，总共需要经过四轮面试，前两轮为技术考察，第三轮是交叉面试，最后一轮是人力面试。每轮面试大概持续时间为40到50分钟，面试内容由项目经验询问和基础机器学习算法询问两部分组成。 基础机器学习算法主要包括LR和SVM有什么区别 ，libsvm和liblinear有什么区别，常用的统计量的含义， 稀疏特征如独热编码 ，维度很大，输入神经网络怎么降维，FFM算法的原理，谈谈你对特征工程的认识，LR优化方法之间的区别， 逻辑回归的概念 ， EM，K-means等问题 。面试官会给出一些场景，询问求职者如何处理数据，如何建模。 可能会碰到算法题和智力题，但数量不会很多。根据反馈，算法题可能会与数组相关，比如存在一个数组，大小为98，里面的元素均为[1,100]区间内，且无重复， 不申请额外空间的情况下，在时间复杂度为O(N)情况下，找出确定的两个元素值。 华为 基础知识部分可能会让技术人员介绍几个简单的机器学习模型的主要思想，比如 贝叶斯、SVM 等。除此之外，都是一些概念问题：决策树和adaboost的区别;介绍你曾经做过的项目