gbdt算法

本文原作者：蒋凯，经授权后发布。 原文链接： https://cloud.tencent.com/developer/article/1509000 导语 ：工业界机器学习大杀器解读。 GBDT是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。 这里简单介绍一下GBDT算法的原理，后续再写一个实战篇。 1、决策树的分类 决策树分为两大类，分类树和回归树。 分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面； 回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度； 两者的区别： 分类树的结果不能进行加减运算，晴天+晴天没有实际意义； 回归树的结果是预测一个数值，可以进行加减运算，例如20岁+3岁=23岁。 GBDT中的决策树是回归树，预测结果是一个数值，在点击率预测方面常用GBDT，例如用户点击某个内容的概率。 2、GBDT概念 GBDT的全称是Gradient Boosting Decision Tree，梯度提升决策树。 要理解GBDT，首先就要理解这个B(Boosting)。 Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断

1. GBDT + LR 是什么 本质上GBDT+LR是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 2. GBDT + LR 用在哪 GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。 点击率预估模型涉及的训练样本一般是上亿级别，样本量大，模型常采用速度较快的LR。但LR是线性模型，学习能力有限，此时特征工程尤其重要。现有的特征工程实验，主要集中在寻找到有区分度的特征、特征组合，折腾一圈未必会带来效果提升。GBDT算法的特点正好可以用来发掘有区分度的特征、特征组合，减少特征工程中人力成本。 从知乎 https://zhuanlan.zhihu.com/p/29053940 上看到了一个关于CTR的流程，如下图所示： 如上图，主要包括两大部分：离线部分、在线部分，其中离线部分目标主要是训练出可用模型，而在线部分则考虑模型上线后，性能可能随时间而出现下降，弱出现这种情况，可选择使用Online-Learning来在线更新模型： 2.1 离线部分 数据收集：主要收集和业务相关的数据，通常会有专门的同事在app位置进行埋点，拿到业务数据 预处理

1GBDT和LR融合 LR模型是线性的，处理能力有限，所以要想处理大规模问题，需要大量人力进行特征工程，组合相似的特征，例如user和Ad维度的特征进行组合。 GDBT天然适合做特征提取，因为GBDT由回归树组成所以， 每棵回归树就是天然的有区分性的特征及组合特征，然后给LR模型训练，提高点击率预估模型（很多公司技术发展应用过，本人认为dnn才是趋势）。 例如，输入样本x，GBDT模型得到两颗树tree1和tree2，遍历两颗树，每个叶子节点都是LR模型的一个维度特征，在求和每个叶子*权重及时LR模型的分类结果。 2广告长尾性 1）gbdt和随机森林rf的对比： rf主要选择对大多数样本有区分度的特征；gbdt的过程，前面树针对大多数样本有区分 ，后面树针对残差依然较大的样本，即针少数的对长尾样本。更适合ctr模型预估。 2）针对广告的长尾性，广告id这个特征就很重要，比如：某少量长尾用户就喜欢点某类广告主的广告。 方案：分别针对ID类和非ID类建树，ID类树：用于发现曝光充分的ID对应的有区分性的特征及组合特征；非ID类树：用于曝光较少的广告。 3gbdt得到的特征维度 维度会降低，总维度是所有叶子节点数之和。 4gdbt模型原理 1）BT回归树 年龄预测：简单起见训练集只有4个人，A,B,C,D，他们的年龄分别是14,16,24,26。其中A、B分别是高一和高三学生；C

目录 1 集成学习的思想 1.1 Bagging简介 1.2 Boosting简介 1.3 Stacking简介 2 随机森林(Random Forest) 2.1 算法流程 2.3 TRTE 2.4 Isolation Forest(IForest) 2.5 RF随机森林的优缺点 3 AdaBoost 3.1 算法原理 3.2 算法的构建过程 3.3 总结 4 GBDT 4.1 算法原理 4.2 GBDT回归算法和分类算法 4.3 总结 1 集成学习的思想 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 常见的集成学习思想有：Bagging、Boosting、Stacking 1.1 Bagging简介 Bagging方法又叫做自举汇聚法(Bootstrap Aggregating)， 思想 ：在原始数据集上通过 有放回的抽样 的方式，重新选择出S个新数据集来分别训练S个分类器的集成技术。也就是说这些模型的训练数据中允许存在重复数据。 Bagging方法训练出来的模型在预测新样本分类的时候，会使用 多数投票或者求均值

文章目录 算法流程 常见问题 算法流程 回归树的生成【参考李航书， CART决策树算法浅谈（回归树部分） 讲的也比较好】： 1）穷举扫描每一个属性特征及其取值，选取使均方误差最小的特征进行分枝； 2）根据划分到两个分枝的数据子集对应的y的平均值获得c1和c2，分别计算两个数据子集的平均绝对误差，选取可以使均方误差最小的特征和取值对作为节点，并确定子节点处的预测值为对应的c1和c2； 3）对子节点重复1）2）直到满足停止条件，递归地将数据集分割为更小的部分，直到总均方差的下降值小于某阈值或者数据集中只剩下一类数据为止； 4）将输入空间分为M个区域R 1 R M~，生成决策树； 前向分步算法，拟合残差直到分类完成或达到预设的终止条件，实现决策树的递归构建。 常见问题 gbdt 如何选择特征 ？ CART回归树用平方误差最小化选择特征 gbdt 如何构建特征 ？ GBDT的叶子节点编号可以与LR融合使用，落在的叶子为1，没有落到的为0 gbdt 如何用于分类？ 对于多分类任务，训练时对N类都训练一个分类回归树，然后对于这N个输出计算交叉熵 gbdt 通过什么方式减少误差 ？ 通过前向分步算法：即每棵树都是在拟合当前模型的预测值和真实值之间的误差，通过不断迭代减小误差 gbdt的效果相比于传统的LR，SVM效果为什么好一些 ？ GBDT基于树模型，继承了树模型的优点 ：对异常点鲁棒

集成学习(Ensemble Learning) 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(error rate < 0.5)； 集成算法的成功在于保证弱分类器的多样性(Diversity).而且集成不稳定的算法也能够得到一个比较明显的性能提升 常见的集成学习思想有: Bagging Boosting Stacking Why need Ensemble Learning? 1. 弱分类器间存在一定的差异性，这会导致分类的边界不同，也就是说可能存在错误。那么将多个弱分类器合并后，就可以得到更加合理的边界，减少整体的错误率，实现更好的效果； 2. 对于数据集过大或者过小，可以分别进行划分和有放回的操作产生不同的数据子集，然后使用数据子集训练不同的分类器，最终再合并成为一个大的分类器； 3. 如果数据的划分边界过于复杂，使用线性模型很难描述情况，那么可以训练多个模型，然后再进行模型的融合； 4. 对于多个异构的特征集的时候，很难进行融合，那么可以考虑每个数据集构建一个分类模型，然后将多个模型融合。 Bagging方法 Bagging方法又叫做自举汇聚法(Bootstrap Aggregating)，思想是：在原始数据集上通过有放回的抽样的方式

（一）Adaboost算法的模型是一个弱学习器线性组合，特点是通过迭代，每一轮学习一个弱学习器，在每次迭代中，提高那些被前一轮分类器错误分类的数据的权值，降低正确分类的数据的权值。最后，将弱分类器的线性组合作为强分类器，给分类误差小的基本分类器大的权值。每一次迭代都可以减少在训练集上的分类误差率。 当然，就如每一个算法都有自己的优缺点一样，AdaBoost 也有自身的缺点。AdaBoost 算法只直接支持二分类，遇到多分类的情况，需要借助 one-versus-rest 的思想来训练多分类模型。关于 one-verus-rest 的细节可以参考本系列第一篇文章 SVM。 AdaBoost能够有效的降低偏差，能够在泛化性能非常弱的学习器上构建成很强的集成。缺点是对噪声敏感。 AdaBoost 的核心就是不断迭代训练弱分类器，并计算弱分类器的权重。需要注意的是，弱分类器的训练依赖于样本权重。每一轮迭代的样本权重都不相同，依赖于弱分类器的权重值和上一轮迭代的样本权重。( 相当于改变了数据的分布情况 ，分类器学习和改变数据分布) 用 AdaBoost 也可以实现回归模型，需要将弱分类器替换成回归树，并将平方误差作为损失函数 GBDT与Adaboost的主要差别为，Adaboost每轮学习的一个基本学习器是通过改变样本的权值，关注上轮分类错误的样本的权值，以逐步减少在训练集上的分类误差率

葡萄酒成分与质量关系分析 -- 通过GBDT以及Random Forests进行特征选取 在UCI下载葡萄酒数据集，链接： https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/ 红酒有1599个样本，白葡萄酒有4898个样本，本文使用红酒的数据集，文件名为winequality-red.csv 数据预处理 先把需要使用的包给导入 import pandas as pd import numpy as np from sklearn . ensemble import GradientBoostingClassifier , RandomForestClassifier from sklearn . model_selection import train_test_split , cross_val_score from sklearn . preprocessing import StandardScaler import matplotlib . pyplot as plt 根据数据集和GBDT以及随机森林算法的特性，本文不做离群值探测，直接使用原始数据。把所有特征归为X，质量归为y，把数据八二分为训练集和测试集，再做一个标准化处理。 data = pd . read_csv (

1.来源 　　本质上 GBDT+LR 是一种具有 stacking 思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于 Facebook 2014 年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 2.使用场景 　　GBDT+LR 使用最广泛的场景是 CTR 点击率预估，即预测当给用户推送的广告会不会被用户点击。点击率预估模型涉及的训练样本一般是上亿级别，样本量大，模型常采用速度较快的 LR。但 LR 是线性模型，学习能力有限，此时特征工程尤其重要。现有的特征工程实验，主要集中在寻找到有区分度的特征、特征组合，折腾一圈未必会带来效果提升。GBDT 算法的特点正好可以用来发掘有区分度的特征、特征组合，减少特征工程中人力成本。 3.CTR的流程 　　主要包括两大部分：离线部分、在线部分，其中离线部分目标主要是训练出可用模型，而在线部分则考虑模型上线后，性能可能随时间而出现下降，若出现这种情况，可选择使用 Online-Learning 来在线更新模型： 3.1离线部分 数据收集：主要收集和业务相关的数据，通常会有专门的同事在 app 位置进行埋点，拿到业务数据 预处理：对埋点拿到的业务数据进行去脏去重； 构造数据集：经过预处理的业务数据，构造数据集，在切分训练、测试

GBDT和时间序列分析的区别：GBDT算法做预测分析时考虑到一些影响目标值的因素，而时间序列主要考虑到数据在时序上的一些规律，忽略了其他因素对目标值的影响。这两种算法在实际应用中刚好互补。如果原始数据中包含足够的数据特征，通常情况下使用GBDT回归做预测分析效果会比时间序列更好。如果原始数据缺乏特征信息，使用时间序列进行预测反而很好。 来源： CSDN 作者： mbshqqb 链接： https://blog.csdn.net/mbshqqb/article/details/84300059