讲授Boosting算法的原理,AdaBoost算法的基本概念，训练算法，与随机森林的比较，训练误差分析，广义加法模型，指数损失函数，训练算法的推导，弱分类器的选择，样本权重削减，实际应用。
大纲：
广义加法模型
指数损失函数
AdaBoost训练算法的推导
实现细节问题
弱分类器的选择
弱分类器的数量
样本权重削减
上节课我们介绍了AdaBoost算法的训练算法和预测算法，其中训练算法还是一个很精密的过程，这个算法是怎么想出来的有没有什么依据？包括弱分类器的权重为什么是1/2log(1-et)/et？样本权重的更新公式为什么是那样的？它们都是有理论依据的。
可以把AdaBoost算法和微积分来对比，它们两个其实非常类似。微积分它是先有方法，先有一些计算公式然后再补充的理论，微积分发明的时候有很多不严密的地方包括牛顿本人他就没法解释无穷小是怎么回事一会可以当作0一会不能当作0，整个微积分它的严密的体系是柯西给建立的，其中非常核心的就是建立了极限这个概念的严格的定义，ε-δ这种定义方式。而AdaBoost算法和这个类似，他也是先有了方法，然后再有了理论解释，它是用广义加法模型和指数损失函数相结合的一个产物来解释的，也就是用广义加法模型来求解指数损失函数，最后就导出了我们的AdaBoost算法的训练算法。
广义加法模型：
来源：https://www.cnblogs.com/wisir/p/12066686.html