共轭梯度法

其他krylov子空间方法 1.krylov子空间 K ( A , q , k ) = s p a n { q , A q , . . . , A k − 1 q } K(A,q,k) = span\left \{q,Aq,...,A^{k-1}q\right \} K ( A , q , k ) = s p a n { q , A q , . . . , A k − 1 q } 2.Krylov子空间与共轭梯度法的关系 共轭梯度法版本0 共轭梯度法版本1 关于共轭梯度法的一个重要的性质 即初始残差 r 0 r_{0} r 0 ​ 与A以及迭代的次数k构成一个krylov子空间 3.法方程方法 A T A x = A T b A^TAx = A^Tb A T A x = A T b 1.CGNR Conjugated gradient normal square residual method 2.CGNE E：error 由于矩阵的条件书变为原来的平方，收敛的速度变得比原来慢 重新描述算法 3.目标函数 已知对CGRE的问题是求解 A A T y = b , x = A T y AA^Ty = b, x = A^Ty A A T y = b , x = A T y 4.共轭残量法 当矩阵A是对称正定时，他有一个对称正定的平方根 A 1 / 2 A^{1/2} A 1 / 2 4

今天介绍数值计算和优化方法中非常有效的一种数值解法，共轭梯度法。我们知道，在解大型线性方程组的时候，很少会有一步到位的精确解析解，一般都需要通过迭代来进行逼近，而 PCG 就是这样一种迭代逼近算法。 我们先从一种特殊的线性方程组的定义开始，比如我们需要解如下的线性方程组： A x = b A x = b 这里的 A ( n × n ) A ( n × n ) 是对称，正定矩阵， b ( n × 1 ) b ( n × 1 ) 同样也是已知的列向量，我们需要通过 A A 和 b b 来求解 x ( n × 1 ) x ( n × 1 ) , 这其实是我们熟知的一些线性系统的表达式。 首先，我们来看一种直观的解法，我们定义满足如下关系的向量为关于 矩阵 A A 的共轭向量， u T A v = 0 u T A v = 0 因为矩阵 A A 是对称正定矩阵，所以矩阵 A A 定义了一个内积空间： u , v A : = A u , v = u , A T v = u , A v = u T A v u , v A := A u , v = u , A T v = u , A v = u T A v 基于此，我们可以定义一组向量 P P P = { p 1 , … , p n } P = { p 1 , … , p n } 其中的向量 p 1 p 1 , p 2 p 2 , … , p n