【优化方法】拟牛顿法之DFP算法

• 上一篇牛顿法(Newton Method)中介绍了牛顿法的基本思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。
• 但是牛顿法也有一个缺点就是：求解Hessian矩阵复杂度比较大

• 对于函数$f(X)$，其中$X=[x_1,x_2,…,x_n ]^T$为向量。在牛顿法的求解过程中，首先是将$f(X)$函数在$X^{k+1}$处展开，并且令$f(X)$函数在$X^{k+1}$处的梯度为：$\mathrm{}f\left(X^{k+1}\right)=[\frac{\mathrm{}f}{\mathrm{}{x}_1},\frac{\mathrm{}f}{\mathrm{}{x}_2},\dots ,\frac{\mathrm{}f}{\mathrm{}{x}_n}{]}^T$
• 泰勒展开为：$f\left(X\right)=f\left(X^{k+1}\right)+\mathrm{}f\left(X^{k+1}{)}^T\right(X{X}^{k+1})+\frac{1}{2}(X{X}^{k+1}{)}^T{G}_{k+1}(X{X}^{k+1})++o$
• $G_{k+1}ΪX=X^{k+1}$的Hesse矩阵，省略高价无穷小量：$f\left(X\right)=f\left(X^{k+1}\right)+\mathrm{}f\left(X^{k+1}{)}^T\right(X{X}^{k+1})+\frac{1}{2}(X{X}^{k+1}{)}^T{G}_{k+1}(X{X}^{k+1})$
• 对$X$求导,并令导数为$0$：$\mathrm{}f\left(X\right)=\mathrm{}f(X^{k+1}{)}^T+G_{k+1}(X{X}^{k+1})=0$
• 求出$X$：$X=X_{k+1}\frac{\mathrm{}f\left(X^{k+1}\right)}{G_{k+1}}=X_{k+1}{G}_{k+1}^1\mathrm{}f\left(X^{k+1}\right)$

• 由于求解Hessian矩阵复杂度比较大，于是下面我们利用上一步即第$k$步的信息来求Hessian矩阵：
• 上面得到公式：$\mathrm{}f\left(X\right)=\mathrm{}f\left(X^{k+1}\right)+G_{k+1}(X{X}^{k+1})$
• 我们令$X=X^k$：$\mathrm{}f\left(X^k\right)=\mathrm{}f\left(X^{k+1}\right)+G_{k+1}(X{X}^{k+1})$
• 利用上面公式我们可以使用$\mathrm{}f\left(X^k\right),\mathrm{}f\left(X^{k+1}\right),X^k,X^{k+1}$来模拟出Hesse矩阵的构造过程，此方法便称为拟牛顿法(QuasiNewton)。
• 在拟牛顿法中主要包括：DFP拟牛顿法，BFGS拟牛顿法。这里我们讲解DFP拟牛顿法。
• 化解上面式子：$G_{k+1}^1\left(\mathrm{}f\right(X^k)\mathrm{}f(X^{k+1}\left)\right)=X^k{X}^{k+1}$$G_{k+1}^1\left(\mathrm{}f\right(X^{k+1})\mathrm{}f(X^k\left)\right)=X^{k1}{X}^k$
• 令$G_{k+1}^{-1}=H_{k+1}$得:$H_{k+1}\left(\mathrm{}f\right(X^{k+1})\mathrm{}f(X^k\left)\right)=X^{k1}{X}^k$
• 假设下面式子成立：$H_{k+1}=H_k+E_k$
• 这样只要我们求出$E_k$就就可以得到$H_{k+1}$，这样我们就将其带入上面的方程中：$(H_k+E_k)\left(\mathrm{}f\right(X^{k+1})\mathrm{}f(X^k\left)\right)=X^{k+1}{X}^k$
• 令矩阵$E_k$用下面式子构造：$E_k=αu_k u_k^T+βv_k v_k^T$其中$u_k,v_k$Ϊ$n×1$的向量。
• 令：$\mathrm{}f\left(X^{k+1}\right)\mathrm{}f\left(X^k\right)=y_k\mathrm{，}{X}^{k1}{X}^k=s_k$:$H_{k+1} y_k=s_k$$(H_k+E_k)y_k=s_k$$(H_k+αu_k u_k^T+βv_k v_k^T)y_k=s_k$