机器学习： 共轭梯度算法（PCG）

今天介绍数值计算和优化方法中非常有效的一种数值解法，共轭梯度法。我们知道，在解大型线性方程组的时候，很少会有一步到位的精确解析解，一般都需要通过迭代来进行逼近，而 PCG 就是这样一种迭代逼近算法。

我们先从一种特殊的线性方程组的定义开始，比如我们需要解如下的线性方程组：

Ax=b$$\mathbf{A}\mathbf{x}=\mathbf{b}$$

这里的 A(n×n)$\mathbf{A}(n\times n)$ 是对称，正定矩阵， b(n×1)$\mathbf{b}(n\times 1)$ 同样也是已知的列向量，我们需要通过 A$\mathbf{A}$ 和 b$\mathbf{b}$ 来求解 x(n×1)$\mathbf{x}(n\times 1)$, 这其实是我们熟知的一些线性系统的表达式。

首先，我们来看一种直观的解法，我们定义满足如下关系的向量为关于 矩阵 A$\mathbf{A}$ 的共轭向量，

uTAv=0$${\mathbf{u}}^{\mathsf{T}}\mathbf{A}\mathbf{v}=0$$

因为矩阵 A$\mathbf{A}$ 是对称正定矩阵，所以矩阵 A$\mathbf{A}$ 定义了一个内积空间：

u,vA:=Au,v=u,ATv=u,Av=uTAv$$\mathbf{u},\mathbf{v}{}_{\mathbf{A}}:=\mathbf{A}\mathbf{u},\mathbf{v}=\mathbf{u},{\mathbf{A}}^{\mathsf{T}}\mathbf{v}=\mathbf{u},\mathbf{A}\mathbf{v}={\mathbf{u}}^{\mathsf{T}}\mathbf{A}\mathbf{v}$$

基于此，我们可以定义一组向量 P$P$

P={p1,…,pn}$$P=\left\{{\mathbf{p}}_1,\dots ,{\mathbf{p}}_n\right\}$$

其中的向量 p1${\mathbf{p}}_1$ , p2${\mathbf{p}}_2$, … , pn${\mathbf{p}}_n$ 都是互为共轭的，那么 P$P$ 构成了 Rn${\mathbb{R}}^n$ 空间的一个基，上述方程的解 x${\mathbf{x}}_{}$ 可以表示成 P$P$ 中向量的线性组合：

x=∑i=1nαipi$${\mathbf{x}}_{}=\sum _{i=1}^n{\alpha }_i{\mathbf{p}}_i$$

根据上面的表达式，我们可以得到：

Ax=∑i=1nαiApipTkAx=∑i=1nαipTkApipTk)pTkb=∑i=1nαipk,piA(Ax=bu,vA=uTAv)pk,b=αkpk,pkA(uTv=u,vi≠k:pk,piA=0)$$\begin{gathered} \mathbf{A}{\mathbf{x}}_{}=\sum _{i=1}^n{\alpha }_i\mathbf{A}{\mathbf{p}}_i \\ {\mathbf{p}}_k^{\mathsf{T}}\mathbf{A}{\mathbf{x}}_{}=\sum _{i=1}^n{\alpha }_i{\mathbf{p}}_k^{\mathsf{T}}\mathbf{A}{\mathbf{p}}_i{\mathbf{p}}_k^{\mathsf{T}}\text{)} \\ {\mathbf{p}}_k^{\mathsf{T}}\mathbf{b}=\sum _{i=1}^n{\alpha }_i{{\mathbf{p}}_k,{\mathbf{p}}_i}_{\mathbf{A}}(\mathbf{A}{\mathbf{x}}_{\mathbf{}}=\mathbf{b}\mathbf{u},\mathbf{v}{}_{\mathbf{A}}={\mathbf{u}}^{\mathsf{T}}\mathbf{A}\mathbf{v}) \\ {\mathbf{p}}_k,\mathbf{b}={\alpha }_k{{\mathbf{p}}_k,{\mathbf{p}}_k}_{\mathbf{A}}({\mathbf{u}}^{\mathsf{T}}\mathbf{v}=\mathbf{u},\mathbf{v}\mathrm{}i\ne k:{{\mathbf{p}}_k,{\mathbf{p}}_i}_{\mathbf{A}}=0) \end{gathered}$$

这意味着：

αk=pk,bpk,pk