主讲人 网神
（新浪微博: @豆角茄子麻酱凉面）
网神(66707180) 18:57:18
大家好，今天我们讲一下第14章combining models，这一章是联合模型，通过将多个模型以某种形式结合起来，可以获得比单个模型更好的预测效果。包括这几部分：
committees, 训练多个不同的模型，取其平均值作为最终预测值。
boosting: 是committees的特殊形式，顺序训练L个模型，每个模型的训练依赖前一个模型的训练结果。
决策树：不同模型负责输入变量的不同区间的预测，每个样本选择一个模型来预测，选择过程就像在树结构中从顶到叶子的遍历。
conditional mixture model条件混合模型：引入概率机制来选择不同模型对某个样本做预测，相比决策树的硬性选择，要有很多优势。
本章主要介绍了这几种混合模型。讲之前，先明确一下混合模型与Bayesian model averaging的区别，贝叶斯模型平均是这样的：假设有H个不同模型h，每个模型的先验概率是p(h)，一个数据集的分布是： 
整个数据集X是由一个模型生成的，关于h的概率仅仅表示是由哪个模型来生成的 这件事的不确定性。而本章要讲的混合模型是数据集中，不同的数据点可能由不同模型生成。看后面讲到的内容就明白了。
首先看committes，committes是一大类，包括boosting，首先将最简单的形式，就是讲多个模型的预测的平均值作为最后的预测。主要讲这么做的合理性，为什么这么做会提高预测性能。从频率角度的概念，bias-variance trade-off可以解释，这个理论在3.5节讲过，我们把这个经典的图copy过来：
这个图大家都记得吧，左边一列是对多组数据分别训练得到一个模型，对应一条sin曲线，看左下角这个图，正则参数lamda取得比较小，得到一个bias很小，variance很大的一个模型 。每条线的variance都很大，这样模型预测的错误就比较大，但是把这么多条曲线取一个平均值，得到右下角图上的红色线，红色线跟真实sin曲线也就是蓝色线 基本拟合。所以用平均之后模型来预测，variance准确率就提高了很多，这是直观上来看，接下里从数学公式推导看下：
有一个数据集，用bootstrap方法构造M个不同的训练集bootstrap方法就是从数据集中随机选N个放到训练集中，做M次，就得到M个训练集，M个训练集训练的到M个模型，用
表示，那么用committees方法，对于某个x，最终预测值是:
我们来看这个预测值是如何比单个
预测值准确的，假设准确的预测模型是h(x)，那么训练得到的y(x)跟h(x)的关系是：
后面那一项是模型的error
ZealotMaster(850458544) 19:24:34
能使error趋近于0嘛？
网神(66707180) 19:25:13
模型越好越趋近于0，但很难等于0，这里committes方法就比单个模型更趋近于0
ZealotMaster(850458544) 19:25:28
求证明
网神(66707180) 19:25:39
正在证明，平均平方和错误如下：
也就是单个模型的期望error是：
如果用M个模型分别做预测，其平均错误是:
而如果用committes的结果来做预测，其期望错误是：
这个
跑到了平方的里面，如果假设不同模型的error都是0均值，并且互不相关，也就是：
就可以得到：
在不同模型error互不相关的假设的下，committes错误是单个模型error的1/M，但实际上，不同模型的error通常是相关的，因此error不会减少这么多，但肯定是小于单个模型的error，接下来讲boosting，可以不考虑那个假设，取得实质的提高.boosting应该是有不同的变种，其中最出名的就是AdaBoost, adaptive boosting. 它可以将多个弱分类器结合，取得很好的预测效果，所谓弱分类器就是，只要比随即预测强一点，大概就是只要准确率超50%就行吧，这是我的理解。
boosting的思想是依次预测每个分类器，每个分类器训练时，对每个数据点加一个权重。训练完一个分类器模型，该模型分错的，再下一个模型训练时，增大权重；分对的，减少权重，具体的算法如下，我把整个算法帖出来，再逐步解释：
大家看下面这个图比较形象：
第一步，初始化每个数据点的权重为1/N.接下来依次训练M个分类器，每个分类器训练时，最小化加权的错误函数(14.15)，错误函数看上面贴的算法，从这个错误函数可以看出，权重相同时，尽量让更多的x分类正确，权重不同时，优先让权重大的x分类正确，训练完一个模型后，式(14.16)计算
，既分类错误的样本的加权比例. 然后式(14.17)计算:
只要分类器准确率大于50%，
就小于0.5, 
就大于0。而且
越小(既对应的分类器准确率越高)，
就越大，然后用
更新每个数据点的权重，即式(14.18)：
可以看出，对于分类错误的数据点，
大于0，所以exp(a)就大于1，所以权重变大。但是从这个式子看不出，对于分类正确的样本，权重变小。这个式子表明，分类正确的样本，其权重不变 ，因为exp(0)=1.这是个疑问。如此循环，训练完所有模型，最后用式(14.19)做预测:
从上面过程可以看出，如果训练集合中某个样本在逐步训练每个模型时，一直被分错，他的权重就会一直变大，最后对应的
也越来越大，下面看一个图例：
图中有蓝红两类样本 ，分类器是单个的平行于轴线的阈值 ，第一个分类器(m=1)把大部分点分对了，但有2个蓝点，3个红点不对，m=2时，这几个错的就变大了，圈越大，对应其权重越大 ，后面的分类器似乎是专门为了这个几个错分点而在努力工作，经过150个分类器，右下角那个图的分割线已经很乱了，看不出到底对不对 ，应该是都已经分对了吧。
网神(66707180) 19:59:59
@ZealotMaster 不知道是否明白点了，大家有啥问题？
ZealotMaster(850458544) 20:00:14
嗯，清晰一些了，这个也涉及over fitting嘛？感觉m=150好乱……
苦瓜炒鸡蛋(852383636) 20:02:23
是过拟合
网神(66707180) 20:02:25
不同的分割线，也就是不同的模型，是主要针对不同的点的，针对哪些点，由模型组合时的系数
来影响。
苦瓜炒鸡蛋(852383636) 20:04:50
这是韩家炜 那个数据挖掘书的那一段：
网神(66707180) 20:04:56
嗯，这章后面也讲到了boosting对某些错分的样本反应太大，一些异常点会对模型造成很大的影响。
================================================================
接下来讲boosting的错误函数，我们仔细看下对boosting错误函数的分析，boosting最初用统计学习理论来分析器泛化错误的边界bound，但后来发现这个bound太松，没有意义。实际性能比这个理论边界好得多，后来用指数错误函数来表示。从优化指数损失函数来解释adaboost比较直观，每次固定其他分类器和系数将常量分出来，能推出单分类器的损失函数及系数，再根据常量的形式能得出下一步数据权重的更新方式。指数错误函数如下： 
其中N是N个样本点，
是多个线性分类器的线性组合:
是分类的目标值。我们的目标是训练系数
和分类器
的参数，使E最小。
最小化E的方法，是先只针对一个分类器进行最小化，而固定其他分类器的参数，例如我们固定
和其系数
，只针对
做优化，这样错误函数E可以改写为：
也就是把固定的分类器的部分都当做一个常量：
，只保留
相关的部分。我们用
表示
分对的数据集，
表示分错的数据集，E又可以写成如下形式：
上式中，因为将数据分成两部分，也就确定了
个
是否相等，所以消去了这两个变量
看起来清爽点了：
这里面后一项是常量，前一项就跟前面boosting的算法里所用的错误函数：
形式一样了。
上面是将：
对
做最小化得出的结论,即指数错误函数就是boosting里求单个模型时所用的错误函数.类似，也可以得到指数错误函数里的
就是boosting里的
，确定了
根据
以及
可以得到，更新w的方法：
又因为
有：
这又跟boosting里更新数据点权重的方法以一致。
总之，就是想说明，用指数错误函数可以描述boosting的error分析,接下来看看指数错误函数的性质，再贴一下指数错误函数的形式：
其期望error是：
然后最所有的y(x)做variational minimization,得到：
这是half the log-odds ，看下指数错误函数的图形：
绿色的线是指数错误函数
可以看到，对于分错的情况，既z<0时，绿色的线呈指数趋势上升，所以异常点会对训练结果的影响很大。图中红色的线是corss-entropy 错误，是逻辑分类中用的错误函数，对分错的情况，随错误变大，其函数值基本是线性增加的，蓝色线是svm用的错误函数，叫hinge 函数。
PRML读书会讲稿PDF版本以及更多资源下载地址：http://vdisk.weibo.com/u/1841149974
来源：https://www.cnblogs.com/Nietzsche/p/4256729.html