PLS系列002之多因变量线性PLS

多因变量线性偏最小二乘法

• 1 多因变量线性PLS
• 1.1 算法设计思想
• 1.2 计算推导
• 1.3 PLS性质
• 1.4 交叉性检验
• Reference

1 多因变量线性PLS

在多元线性回归模型中，若一组自变量$X=({{x}_{1}},{{x}_{2}},{{x}_{3}},\cdots ,{{x}_{i}},\cdots {{x}_{p}})$和一组因变量$Y=\{{{y}_{1}},{{y}_{2}},{{y}_{3}},\cdots ,{{y}_{j}},\cdots ,{{y}_{q}}\}$，当数据样本满足高斯-马尔科夫假设条件时，由least squares(最小二乘)有:$\hat{Y}={{({{X}^{T}}X)}^{-1}}{{X}^{T}}Y$，其中$\hat{Y}$是$Y$的线性最小方差无偏估计量，但是要求矩阵${{X}^{T}}X$可逆。
而当$X$中样本点个数比变量个数(维数)明显过少或变量存在严重多重共线性，则最小二乘估计量失效，并会引发一系列问题。而Partial Least Squares Regression提出采用分成提取的办法解决如上问题，我们可以知道PLS的几个突出特点：
①在自变量存在严重多重共线性时可以进行回归建模；
②在样本点个数比变量个数(维数)明显过少时可以进行回归建模；
③PLS模型可以识别系统信息与噪声；
④PLS模型中，每一个自变量${{x}_{i}}$的回归系数容易解释；
⑤PLS最终回归模型中包含原有的所有自变量。

1.1 算法设计思想

设一组自变量$X=({{x}_{1}},{{x}_{2}},\cdots ,{{x}_{i}},\cdots ,{{x}_{p}})$和一组因变量$Y=\{{{y}_{1}},{{y}_{2}},\cdots ,{{y}_{j}},\cdots ,{{y}_{q}}\}$ ($X$是$n\times p$矩阵,$Y$是$n\times q$矩阵,其中$n$是样本点数即行数)即有$p$个自变量和$q$个因变量，为了探索因变量和自变量的统计关系，观测出$n$个样本点，由此构造出样本数据表$X$和$Y$,PLS分别在$X$与$Y$中提取出各自的潜变量${{t}_{1}}$和${{u}_{1}}$，它们分别为自变量与因变量的线性组合(也就是说${{t}_{1}}$是${{x}_{1}},{{x}_{2}},\cdots ,{{x}_{i}},\cdots {{x}_{p}}$的线性组合，${{u}_{1}}$是${{y}_{1}},{{y}_{2}},\cdots ,{{y}_{j}},\cdots ,{{y}_{q}}$的线性 组合)，二者满足条件：

①两组潜变量分别最大程度承载自变量与因变量的变异信息；
②二者之间的协方差最大化(相关程度最大)。

在提取第1个成分${{t}_{1}}$和${{u}_{1}}$后，PLS分别进行$X$对${{t}_{1}}$的回归与$Y$对${{u}_{1}}$的回归。若回归方程已达到满意精度，则算法终止；否则，将利用$Y$被${{u}_{1}}$解释后的残余信息与$X$被${{t}_{1}}$解释后的残余信息(残差矩阵)实施第2轮成分提取，如此循环下去，直到一个较满意精度算法终止。如果最后$X$总共提取$m$(即我们假设)个成分${{t}_{1}},{{t}_{2}},\cdots ,{{t}_{m}}$，PLS最后进行${{y}_{j}}(j=1,2,\cdots ,q)$对${{t}_{1}},{{t}_{2}},\cdots ,{{t}_{m}}$的回归得到回归方程，最后将此回归方程中的${{t}_{1}},{{t}_{2}},\cdots ,{{t}_{m}}$均用${{x}_{1}},{{x}_{2}},\cdots ,{{x}_{i}},\cdots {{x}_{p}}$替换，最终得到${{y}_{j}}(j=1,2,\cdots ,q)$关于原来自变量${{x}_{1}},{{x}_{2}},\cdots ,{{x}_{i}},\cdots {{x}_{p}}$的回归方程。

1.2 计算推导

在PLS进行之前，首先要进行预备分析，目的是判断自变量(因变量)是否存在多重共线性，判断因变量与自变量是否存在相关关系，进而决定是否需要采用PLS方法建模，具体计算方法：记矩阵$Z=(X,Y)$，求$Z$的各列数据之间的简单相关系数。然后考虑是否采用PLS，若采用：
①样本数据$X$与$Y$标准化预处理
②记${{t}_{1}}$是$X$的第1个成分有$\color{red}{{t}_{1}}=X{{w}_{1}}$，其中${{w}_{1}}$是$X$的第1个轴(单位列向量即$\left\| {{w}_{1}} \right\|\text{=}1$)。
${{u}_{1}}$是$Y$的第1个成分有$\color{red}{{u}_{1}}=Y{{v}_{1}}$，其中${{v}_{1}}$是$X$的第1个轴(单位列向量即$\left\| {{v}_{1}} \right\|\text{=}1$)。
${{t}_{1}}$、${{u}_{1}}$为列向量，行数为$n$，即正好是样本集合数。
${{w}_{1}}$为列向量，行数为$p$，即正好是自变量个数
${{v}_{1}}$为列向量，行数为$q$，即正好是因变量个数
${{t}_{1}}$和${{u}_{1}}$满足(1)中两个条件则有：

变异信息最大：$Var({{t}_{1}})\to \max ,Var({{u}_{1}})\to \max$
相关程度最大：$r({{t}_{1}},{{u}_{1}})\to \max$
综合可得协方差最大：$Cov({{t}_{1}},{{u}_{1}})=r({{t}_{1}},{{u}_{1}})\sqrt{Var({{t}_{1}})Var({{u}_{1}})}\to \max$

由于$\frac{1}{n}<X{{w}_{1}},Y{{v}_{1}}>=Cov({{t}_{1}},{{u}_{1}})$且$n$为常数，则：
$\begin{aligned} & \max <X{{w}_{1}},Y{{v}_{1}}>={{(X{{w}_{1}})}^{T}}Y{{v}_{1}}=w_{_{1}}^{T}{{X}^{T}}Y{{v}_{1}} \\ & s.t\left\{ \begin{matrix} w_{_{1}}^{T}{{w}_{1}}={{\left\| {{w}_{1}} \right\|}^{2}}=1 \\ v_{_{1}}^{T}{{v}_{1}}={{\left\| {{v}_{1}} \right\|}^{2}}=1 \\ \end{matrix} \right. \\ \end{aligned}$
根据拉格朗日算法有：
$f=w_{_{1}}^{T}{{X}^{T}}Y{{v}_{1}}-\lambda (w_{_{1}}^{T}{{w}_{1}}-1)-\mu (v_{_{1}}^{T}{{v}_{1}}-1)$
对$f$分别求关于${{w}_{1}},{{v}_{1}},\lambda ,\mu$的偏导且置0(求)，有：
$\left\{ \begin{matrix} \frac{\partial f}{\partial {{w}_{1}}}={{X}^{T}}Y{{v}_{1}}-2\lambda {{w}_{1}}=0 \\ \frac{\partial f}{\partial {{v}_{1}}}={{Y}^{T}}X{{w}_{1}}-2\mu {{v}_{1}}=0 \\ \frac{\partial f}{\partial \lambda }=-(w_{_{1}}^{T}{{w}_{1}}-1)=0\ \ \ \ \\ \frac{\partial f}{\partial \mu }=-(v_{_{1}}^{T}{{v}_{1}}-1)=0\ \ \ \ \ \\ \end{matrix} \right.$
由上式可推出：$2\lambda =2\mu =w_{_{1}}^{T}{{X}^{T}}Y{{v}_{1}}={{(X{{w}_{1}})}^{T}}Y{{v}_{1}}\text{=}<X{{w}_{1}},Y{{v}_{1}}>$
记${{\theta }_{1}}=2\lambda =2\mu =w_{_{1}}^{T}{{X}^{T}}Y{{v}_{1}}$,则${{\theta }_{1}}$是优化问题的目标函数且使是${{\theta }_{1}}$达到最大必须有有：
$\left\{ \begin{aligned} & {{X}^{T}}Y{{v}_{1}}={{\theta }_{1}}{{w}_{1}} \\ & {{Y}^{T}}X{{w}_{1}}\text{=}{{\theta }_{1}}{{v}_{1}} \\ \end{aligned} \right.$
将上面组合式结合得：
${{X}^{T}}Y(\frac{1}{{{\theta }_{1}}}{{Y}^{T}}X{{w}_{1}})={{\theta }_{1}}{{w}_{1}}\Rightarrow {{X}^{T}}Y{{Y}^{T}}X{{w}_{1}}=\theta _{_{1}}^{2}{{w}_{1}}$
同理可得：
${{Y}^{T}}X{{X}^{T}}Y{{v}_{1}}=\theta _{_{1}}^{2}{{v}_{1}}$
可见，${{w}_{1}}$是矩阵${{X}^{T}}Y{{Y}^{T}}X$的特征向量，对应的特征值为$\theta _{_{1}}^{2}$。${{\theta }_{1}}$为目标函数值且为最大。则${{w}_{1}}$是${{X}^{T}}Y{{Y}^{T}}X$的最大特征值$\theta _{_{1}}^{2}$的单位特征向量（列向量）。同理，${{v}_{1}}$是${{Y}^{T}}X{{X}^{T}}Y$最大特征值$\theta _{_{1}}^{2}$的单位特征向量（列向量）。
我们通过求得${{w}_{1}}$和${{v}_{1}}$之后即可得到第1成分：
$\left\{ \begin{aligned} & {{t}_{1}}=X{{w}_{1}} \\ & {{u}_{1}}=Y{{v}_{1}} \\ \end{aligned} \right.$
由(1)式我们可以进一步推导出：${{\theta }_{1}}\text{=}<{{t}_{1}},{{u}_{1}}>=w_{1}^{T}{{X}^{T}}Y{{v}_{1}}$
然后分别进行$X$、$Y$对${{t}_{1}}$的回归(这里$Y$对${{t}_{1}}$的回归)：
$\left\{ \begin{aligned} & X={{t}_{1}}p_{1}^{T}+{{X}_{1}} \\ & Y={{u}_{1}}q_{1}^{T}+Y_{1}^{*} \\ & Y={{t}_{1}}r_{1}^{T}+{{Y}_{1}} \\ \end{aligned} \right.$
其中，回归系数向量：
$\left\{ \begin{aligned} & {{p}_{1}}=\frac{{{X}^{T}}{{t}_{1}}}{{{\left\| {{t}_{1}} \right\|}^{2}}} \\ & {{q}_{1}}=\frac{{{Y}^{T}}{{u}_{1}}}{{{\left\| {{u}_{1}} \right\|}^{2}}} \\ & {{r}_{1}}=\frac{{{Y}^{T}}{{t}_{1}}}{{{\left\| {{t}_{1}} \right\|}^{2}}} \\ \end{aligned} \right.$
(计算方法:将$X={{t}_{1}}p_{1}^{T}+{{X}_{1}}$转置后右乘$t_{1}^{T}$)
另外，${{X}_{1}}$、${{Y}_{1}}$则为$X$、$Y$的残差信息矩阵。(回归系数向量可利用PLS回归性质推导？)
在PLS方法中，我们称$w$为模型效应权重(Model Effect Weights)，$v$为因变量权重(Dependent Variable Weights)，$p$为模型效应载荷量(Model Effect Loadings)。 模型效应指的就是X即自变量O(∩_∩)O哈哈~
得分向量$t$，载荷向量$p$，权重向量$w$.
③用残差信息矩阵${{X}_{1}}$、${{Y}_{1}}$取代$X$、$Y$，求第2个成分${{t}_{2}}$、${{u}_{2}}$和第2个轴${{w}_{2}}$、${{v}_{2}}$，即：
$\left\{ \begin{aligned} & {{t}_{2}}={{X}_{1}}{{w}_{2}} \\ & {{u}_{2}}={{Y}_{1}}{{v}_{2}} \\ \end{aligned} \right.$
${{\theta }_{2}}=<{{t}_{2}},{{u}_{2}}>=w_{2}^{T}X_{1}^{T}{{Y}_{1}}{{v}_{2}}$
${{w}_{2}}$是对应于矩阵$X_{1}^{T}{{Y}_{1}}Y_{1}^{T}{{X}_{1}}$最大特征值${{\theta }_{2}}$的特征向量（列向量），${{v}_{2}}$是对应于矩阵$Y_{1}^{T}{{X}_{1}}X_{1}^{T}{{Y}_{1}}$最大特征值的特征向量（列向量），于是回归方程：
$\left\{ \begin{aligned} & {{X}_{1}}={{t}_{2}}p_{2}^{T}+{{X}_{2}} \\ & {{Y}_{1}}={{t}_{2}}r_{2}^{T}+{{Y}_{2}} \\ \end{aligned} \right.$
其中，回归系数向量：
$\left\{ \begin{aligned} & {{p}_{2}}=\frac{X_{1}^{T}{{t}_{2}}}{{{\left\| {{t}_{2}} \right\|}^{2}}} \\ & {{r}_{2}}=\frac{{{Y}_{1}}^{T}{{t}_{2}}}{{{\left\| {{t}_{2}} \right\|}^{2}}} \\ \end{aligned} \right.$
$\begin{aligned} & {{X}_{1}}={{t}_{2}}p_{2}^{T}+{{X}_{2}}\Leftrightarrow X_{1}^{T}=p_{2}^{{}}t_{2}^{T}+X_{2}^{T}\Leftrightarrow X_{1}^{T}{{t}_{2}}=p_{2}^{{}}t_{2}^{T}{{t}_{2}}+X_{2}^{T}{{t}_{2}} \\ & \Leftrightarrow X_{1}^{T}{{t}_{2}}=p_{2}^{{}}t_{2}^{T}{{t}_{2}}\Leftrightarrow X_{1}^{T}{{t}_{2}}=p_{2}^{{}}t_{2}^{T}{{t}_{2}} \\ \end{aligned}$
④如此利用剩下的残差信息矩阵不断迭代计算，我们假设$X$的秩为$m$(即可以有A个成分)：
$\left\{ \begin{aligned} & X={{t}_{1}}p_{1}^{T}+{{t}_{2}}p_{2}^{T}+\cdots +{{t}_{m}}p_{m}^{T}+{{X}_{m}} \\ & Y={{t}_{1}}r_{1}^{T}+{{t}_{2}}r_{2}^{T}+\cdots +{{t}_{m}}r_{m}^{T}\text{+}{{Y}_{m}} \\ \end{aligned} \right.$
等价于
$\left\{ \begin{aligned} & X=\left( \begin{matrix} {{t}_{1}} & {{t}_{2}} & \cdots & {{t}_{m}} \\ \end{matrix} \right)\left( \begin{matrix} p_{1}^{T} \\ p_{2}^{T} \\ \vdots \\ p_{m}^{T} \\ \end{matrix} \right)+{{X}_{m}}=\left( \begin{matrix} {{t}_{1}} & {{t}_{2}} & \cdots & {{t}_{m}} \\ \end{matrix} \right){{\left( \begin{matrix} p_{1}^{{}} & p_{2}^{{}} & \cdots & p_{m}^{{}} \\ \end{matrix} \right)}^{T}}+{{X}_{m}} \\ & Y=\left( \begin{matrix} {{t}_{1}} & {{t}_{2}} & \cdots & {{t}_{m}} \\ \end{matrix} \right)\left( \begin{matrix} r_{1}^{T} \\ r_{2}^{T} \\ \vdots \\ r_{m}^{T} \\ \end{matrix} \right)+{{Y}_{m}}=\left( \begin{matrix} {{t}_{1}} & {{t}_{2}} & \cdots & {{t}_{m}} \\ \end{matrix} \right){{\left( \begin{matrix} r_{1}^{{}} & r_{2}^{{}} & \cdots & r_{m}^{{}} \\ \end{matrix} \right)}^{T}}+{{Y}_{m}} \\ \end{aligned} \right.$
而${{t}_{1}},{{t}_{2}},\cdots ,{{t}_{m}}$可表示成$X\text{= }\!\!\{\!\!\text{ }{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{p}}\text{ }\!\!\}\!\!\text{ }$的线性组合
其中${{Y}_{m}}$为第$m$个残差矩阵,提取的主成分个数$m<(X)$
由于$w_{h}^{*}=\prod\limits_{k=1}^{h-1}{(E-{{w}_{k}}p_{k}^{T})}{{w}_{h}}\ \And \ \ {{t}_{h}}=Xw_{h}^{*}$ (在多因变量线性偏最小二乘法性质中)则有：
$\begin{aligned} & Y={{t}_{1}}r_{1}^{T}+{{t}_{2}}r_{2}^{T}+\cdots +{{t}_{m}}r_{m}^{T}+{{Y}_{m}} \\ & \ \ \ =(Xw_{1}^{*})r_{1}^{T}+(Xw_{2}^{*})r_{2}^{T}+\cdots +(Xw_{m}^{*})r_{m}^{T}+{{Y}_{m}} \\ & \ \ \ =X\left( \sum\limits_{i=1}^{m}{w_{i}^{*}r_{i}^{T}} \right)+{{Y}_{m}} \\ \end{aligned}$
令$B=\sum\limits_{i=1}^{m}{{{w}_{i}}r_{i}^{T}}$即为PLS回归方程的回归系数向量，有：
$Y=XB\text{+}{{F}_{m}}$

1.3 PLS性质

根据
$\left\{ \begin{aligned} & {{X}^{T}}Y{{v}_{1}}={{\theta }_{1}}{{w}_{1}} \\ & {{Y}^{T}}X{{w}_{1}}\text{=}{{\theta }_{1}}{{v}_{1}} \\ \end{aligned} \right.$
和
$\left\{ \begin{aligned} & {{t}_{1}}=X{{w}_{1}} \\ & {{u}_{1}}=Y{{v}_{1}} \\ \end{aligned} \right.$
可以得到:
$\left\{ \begin{matrix} \begin{aligned} & {{t}_{h}}={{X}_{h-1}}{{w}_{h}} \\ & {{u}_{h}}={{Y}_{h-1}}{{v}_{h}} \\ \end{aligned} \\ {{w}_{h}}=\frac{1}{{{\theta }_{h}}}X_{h-1}^{T}Y{{v}_{h}}=\frac{1}{{{\theta }_{h}}}X_{h-1}^{T}{{u}_{h}} \\ {{v}_{h}}=\frac{1}{{{\theta }_{h}}}Y_{h-1}^{T}X{{w}_{h}}=\frac{1}{{{\theta }_{h}}}X_{h-1}^{T}{{t}_{h}} \\ \end{matrix} \right.$
①轴${{w}_{1}},{{w}_{2}},\cdots ,{{w}_{m}}$之间相互直交
②成分${{t}_{1}},{{t}_{2}},\cdots ,{{t}_{m}}$之间相互直交
③$t_{h}^{T}{{X}_{l}}=0(l\ge h)$
④$p_{h}^{T}{{w}_{h}}=(\frac{t_{h}^{T}{{X}_{h-1}}}{{{\left\| {{t}_{h}} \right\|}^{2}}}){{w}_{h}}=\frac{t_{h}^{T}({{X}_{h-1}}{{w}_{h}})}{{{\left\| {{t}_{h}} \right\|}^{2}}}=\frac{t_{h}^{T}{{t}_{h}}}{{{\left\| {{t}_{h}} \right\|}^{2}}}=1$
⑤轴${{w}_{h}}$与后续回归系数向量正交即$w_{h}^{T}{{p}_{l}}=w_{h}^{T}\frac{X_{l-1}^{T}{{t}_{l}}}{{{\left\| {{t}_{l}} \right\|}^{2}}}=0$
⑥(重要)$\forall h\ge 1$，有${{X}_{h}}$与$X$的关系式：
${{X}_{h}}=X\prod\limits_{k=1}^{h}{(E-{{w}_{k}}p_{k}^{T})}$
其中$E$为单位矩阵
证明(数学归纳法)：
当$h=1$时，${{X}_{1}}=X-{{t}_{1}}p_{1}^{T}=X-X{{w}_{1}}p_{1}^{T}=X(E-{{w}_{1}}p_{1}^{T})$
设在$h=k$时成立，则证$h=k+1$时也成立：
$\begin{aligned} & {{X}_{k+1}}={{X}_{k}}-{\color{red}{t_{k+1}}}p_{k+1}^{T}={{X}_{k}}-{\color{red}({{X}_{k}}{{w}_{k+1}})}p_{k+1}^{T} \\ & \ \ \ \ \ \ \ ={{X}_{k}}(E-{{w}_{k+1}}p_{k+1}^{T}) \\ & \ \ \ \ \ \ \ =\left[ X\prod\limits_{h=1}^{k}{(E-{{w}_{h}}p_{h}^{T})} \right](E-{{w}_{k+1}}p_{k+1}^{T}) \\ \end{aligned}$
则得证。
⑦任一成分${{t}_{h}}$是原自变量$X$的线性组合即：
${{t}_{h}}={{X}_{h-1}}{{w}_{h}}=X\prod\limits_{k=1}^{h-1}{(E-{{w}_{k}}p_{k}^{T})}{{w}_{h}}=Xw_{h}^{*}$
其中
$\begin{aligned} & w_{h}^{*}=\prod\limits_{k=1}^{h-1}{(E-{{w}_{k}}p_{k}^{T})}{{w}_{h}}={{w}_{h}}\prod\limits_{k=1}^{h-1}{(E-{{w}_{k}}p_{k}^{T})} \\ & ={{w}_{h}}\left\{ \left( E-{{w}_{1}}p_{1}^{T} \right)\left( E-{{w}_{2}}p_{2}^{T} \right)\ \ \cdots \left( E-{{w}_{h-1}}p_{h-1}^{T} \right)\ \right\} \\ \end{aligned}$
$E$为单位矩阵。
【编程计算问题】
初始化$chg=E$
h=1 求$w_{1}^{*}={{w}_{1}}\times \left( E-O \right)={{w}_{1}}\times chg$
h=2 chg发生变化，$chg=chg\times \left( E-{{w}_{1}}p_{1}^{T} \right)$，求$w_{2}^{*}={{w}_{2}}\times chg$
h=3 chg发生变化，$chg=chg\times \left( E-{{w}_{2}}p_{2}^{T} \right)$，求$w_{3}^{*}={{w}_{3}}\times chg$

以上证明过程(王惠文书有)。

1.4 交叉性检验

由于PLS过程中后续的成分已经不可以为解释$Y$而提供更有意义信息时，采取更多的后续成分只会破会回归模型的统计趋势，引导错误回归结论，所以PLS并不需要构造出这些全部的成分进行回归建模，而可以采用PCA方法(Principal Component Analysis)，可以截取m个成分($m<(X)$)，我们仅仅使用这$m$个成分就能得到一个性能较好的回归模型。
在PLS建模中$m$取多少合适，这可以考察增加1个新成分后，能否对PLS模型的预测能力有明显的改善来取舍。
$n$个样本点分成2步使用：
①排除某个样本点$i$的样本点集合($n-1$个样本点)，用这$n-1$个样本点使用$h$个成分采用PLS得到$Y$关于$X$的一个回归方程。
②把刚才排除的样本点$i$代入刚才得到的$Y$关于$X$的回归方程，得到${{y}_{j}}(j=1,2,\cdots ,q)$在样本点在$i$上的预测值${{\hat{y}}_{hj(-i)}}$。
对于每一个$i(1=1,2,\cdots ,n)$,重复以上①②步，则可以得到${{y}_{j}}$的预测误差平方和$PRES{{S}_{hj}}$,有：
$PRES{{S}_{hj}}\text{=}\sum\limits_{i=1}^{n}{{{({{y}_{ij}}-{{{\hat{y}}}_{hj(-i)}})}^{2}}}$
并且$Y$的预测误差平方和$PRES{{S}_{hj}}$，有：
$PRES{{S}_{h}}\text{=}\sum\limits_{j=1}^{q}{PRES{{S}_{hj}}}$
这里我们对$PRES{{S}_{h}}$做如下解释：
$PRES{{S}_{h}}$是从所有$n$个样本点中舍弃某个样本点${{x}^{(i)}}=(i=1,2,\cdots ,n)$之后，用剩余的$n-1$个样本点拟合出含$h$个主成分的回归方程，再对在${{x}^{(i)}}=(i=1,2,\cdots ,n)$点上对因变量进行预测的预测误差平方和。
这里对$S{{S}_{(h-1)}}$做如下解释：
$S{{S}_{(h-1)}}$是用所有$n$个样本点拟合出的含$h-1$个主成分的回归方程的拟合误差平方和。
我们把增加一个样本点所构成的误差我们称之为扰动误差，而扰动误差决定回归方程的稳健能力即$PRES{{S}_{hj}}$的值，扰动误差越大，稳健能力越差，就会增加$PRES{{S}_{hj}}$的值。
另一方面，我们再采取所有样本点集合，多元回归出提取$h$个成分的回归方程，记第$i$个样本点的拟合值${{\hat{y}}_{hj(i)}}$，则可以得到${{y}_{j}}$的误差平方和$S{{S}_{hj}}$,有：
$S{{S}_{hj}}\text{=}\sum\limits_{i=1}^{n}{{{({{y}_{ij}}-{{{\hat{y}}}_{hj(i)}})}^{2}}}$
并且$Y$的误差平方和$S{{S}_{hj}}$，有：
$S{{S}_{h}}\text{=}\sum\limits_{j=1}^{q}{S{{S}_{hj}}}$
一般有：
$PRES{{S}_{h}}>S{{S}_{h}}\ \And \ S{{S}_{h-1}}>S{{S}_{h}}$
其中$S{{S}_{h-1}}$是用全部样本点多元回归出的具有$h-1$个成分的回归方程的拟合误差，我们比较$PRES{{S}_{h}}$和$S{{S}_{h-1}}$，$PRES{{S}_{h}}是$增加了1个成分${{t}_{h}}$但是导致回归方程的稳健能力改变，而在一定程度上回归方程的稳健能力即$h$个成分回归方程的扰动误差小于$h-1$个成分回归方程的拟合误差，则认为回归方程的稳健能力得到提高即新的PLS得到的回归方程的预测精度明显改善，故${PRES{{S}_{h}}}/{S{{S}_{h-1}}}\;$越小越好。由于在SIMCA-P软件中认为：
$\frac{PRES{{S}_{h}}}{S{{S}_{h-1}}}\le {{0.95}^{2}}$
即当$PRES{{S}_{h}}\le {{0.95}^{2}}S{{S}_{h-1}}$时，增加新的成分${{t}_{h}}$有效。
我们将上面的${PRES{{S}_{h}}}/{S{{S}_{h-1}}}\;$检验标准进行改进得到交叉有效性的定义，得到对每一个因变量${{y}_{j}}$有：
$Q_{hj}^{2}=1-\frac{PRES{{S}_{hj}}}{S{{S}_{(h-1)j}}}$
则对于$Y$，有：
$Q_{h}^{2}=1-\frac{\sum\limits_{j=1}^{q}{PRES{{S}_{hj}}}}{\sum\limits_{j=1}^{q}{S{{S}_{(h-1)j}}}}=1-\frac{PRES{{S}_{h}}}{S{{S}_{h-1}}}$
交叉性检验标准：
①$Q_{h}^{2}\ge 1-{{0.95}^{2}}=0.0975$时，增加成分${{t}_{h}}$是有效的，回归模型得到显著改善。
②$\exists k\in \left\{ 1,2,\cdots ,q \right\}$，有：$Q_{h}^{2}\ge 0.0975$。

Reference

• 王惠文.偏最小二乘方法原理及其应用
• 郭建校. 改进的高维非线性PLS回归方法及应用研究[D]. 天津大学, 2010.

来源：CSDN

作者：zhulinniao

链接：https://blog.csdn.net/zhulinniao/article/details/103651523