boosting

首先来说明一下bootstraps：可以把它认为是一种有放回的抽样方法。 bagging：boostraps aggregating（汇总） boosting：Adaboot （Adaptive Boosting）提升方法 提升（boosting）：在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 思想：提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（基分类器），然后组合这些弱分类器，构成一个强分类器。 对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 1)改变训练数据的概率分布 2）改变数据权值分布。 AdaBoost：1）提高那些未被正确分类的样本权值，降低那些被分类正确的样本权值。这样分类错误的样本就被后来的分类器更大的关注。 2）采用加权多数表决，加大准确率高的分类器权值。 算法步骤： （1）初始化权值 （2）使用具有权值分布的D m 的训练数据学习，得到基本分类器 G m (x). (3) 计算G m （x）在训练数据集上的分类误差率 （4）计算G m （x）的系数 （5）更新权值分布（如果分类错误要提高权值，分类正确要降低权值