1. 技术文章
  2. 3.1 Linear Basis Function Models（PRML 系列----3.1.5 Multiple outputs)

3.1 Linear Basis Function Models（PRML 系列----3.1.5 Multiple outputs)

由 落花浮王杯 提交于 2020-01-29 00:13:13
multiple, independent regression problems.

共享相同的基函数
在这里插入图片描述
在这里插入图片描述
对β求导可计算β估计值\beta求导可计算\beta估计值

多变量解耦：原因在于W(M∗K)W(M*K)只定义了高斯噪声的输出，只考虑单变量即可

在这里插入图片描述
WW中K个变量之间的协方差解偶证明K个变量之间的协方差解偶证明
在这里插入图片描述p(t∣x,W,β)=N(t∣WTϕ(x),β−1I)p(\mathbf{t} | \mathbf{x}, \mathbf{W}, \beta)=\mathcal{N}\left(\mathbf{t} | \mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}(\mathbf{x}), \beta^{-1} \mathbf{I}\right) 对于单个样本来说,上面式子中t表示K个变量，其均值WTϕ(x)对于单个样本来说,上面式子中\mathbf{t}表示K个变量，其均值\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}(\mathbf{x})为K维向量，协方差矩阵为对角阵,说明变量之间相互独立 为K维向量，协方差矩阵为对角阵,说明变量之间相互独立
在这里插入图片描述

简单证明如下

用到的公式：d∣A∣=tr(A∗dA),∂∣A∣∂A=(A∗)T=∣A∣(A−1)T,特别当A=Σ为对称矩阵时，行列式对矩阵的导数=行列式∗矩阵的逆用到的公式：d|A|=tr(A^*dA),\frac{\partial{\mathbf{|A|}}}{\partial\mathbf{A}}=(A^*)^T=|A|(A^{-1})^T,特别当A=\Sigma为对称矩阵时，行列式对矩阵的导数=行列式*矩阵的逆
AA−1=IAA ^{-1}=\mathrm{I}dAA−1+AdA−1=0dAA ^{-1}+AdA^{-1}=\mathrm{0}dA−1=−A−1dAA−1dA^{-1}=-A^{-1}dAA ^{-1}
有了以上公式对下式中的Σ\mathbf\Sigma求导
ln⁡L(W,Σ)=−N2ln⁡∣Σ∣−12∑n=1N(tn−WTϕ(xn))TΣ−1(tn−WTϕ(xn))\ln L(\mathbf{W}, \mathbf{\Sigma})=-\frac{N}{2} \ln |\mathbf{\Sigma}|-\frac{1}{2} \sum_{n=1}^{N}\left(\mathbf{t}_{n}-\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\right)^{\mathrm{T}} \mathbf{\Sigma}^{-1}\left(\mathbf{t}_{n}-\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\right)

令A=(tn−WTϕ(xn))令A=(\mathbf{t}_n-\mathbf{W}^{\mathrm{T}}\boldsymbol{\phi(\mathbf{x}_n)})
f=ATΣ−1Af=A^{\mathrm{T}}\mathbf{\Sigma}^{-1}Adf=ATdΣ−1A=tr(ATdΣ−1A)=tr(AATdΣ−1)df=A^{\mathrm{T}}d\mathbf{\Sigma}^{-1}A=tr(A^{\mathrm{T}}d\mathbf{\Sigma}^{-1}A)=tr(AA^{\mathrm{T}}d\mathbf{\Sigma}^{-1})=−tr(AATΣ−1dΣΣ−1)=−tr(Σ−1AATΣ−1dΣ)=-tr(AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}d\mathbf{\Sigma}\mathbf{\Sigma}^{-1})=-tr(\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}d\mathbf{\Sigma})∂f∂Σ=−Σ−1AATΣ−1\frac{\partial f}{\partial \mathbf{\Sigma}}=-\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}
因此有：
−N2Σ−1+12∑n=1NΣ−1AATΣ−1=0-\frac{N}{2}\mathbf{\Sigma}^{-1}+\frac{1}{2}\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}=0∑n=1NΣ−1+∑n=1NΣ−1AATΣ−1=0\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}+\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}=0−∑n=1NΣ−1(I−AATΣ−1)=0-\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}(\mathrm I-AA^{\mathrm{T}}\mathbf{\Sigma}^{-1})=0∑n=1N(I−AATΣ−1)=0\sum_{n=1}^{N}(\mathrm I-AA^{\mathrm{T}}\mathbf{\Sigma}^{-1})=0NI=∑n=1NAATΣ−1N\mathrm I=\sum_{n=1}^{N}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}Σ=1N∑n=1NAAT\mathbf{\Sigma}=\frac{1}{N}\sum_{n=1}^{N}AA^{\mathrm{T}}

标签
协方差
变量
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!