半正定矩阵

多元函数的Hessian矩阵就类似一元函数的二阶导。 多元函数Hessian矩阵半正定就相当于一元函数二阶导非负，半负定就相当于一元函数二阶导非正。如果这个类比成立的话，凸函数的Hessian恒半正定就非常容易理解了——这是一元凸函数二阶导必非负的多元拓展。 至于为什么这个类是有道理的，你要这么看。对一元函数f(x)来说，就极值而言，一阶导为0是极值点的必要但不充分条件，一阶导为0切二阶导非负是极小值的充要条件。 为什么呢，因为有泰勒展开 。如果一阶导为0，二阶导非负，dx不论是多少，f(x)一定不比f(x0)小。 你把多元函数也个泰勒展开，主要区别在于： 1) 二阶导变成了Hessian。 2) 以前只要考虑x怎么变，现在还要考虑y怎么变，x和y怎么一起变，头疼了很多。 以二元为例， 从一元的情况类比过来，如果一阶导为0，是不是极小值完全取决于不同的dx, dy下，能不能做到最后一项一直非负。 只有对于任意 , 一直非负的情况，我们才能说这是极小值。如果 一直非正，这就是极大值。如果它一会正一会负，就是鞍点。 然后“对于任意 , 一直非负”这是啥？半正定的定义嘛！它就是这么引出来的，也是我们为什么需要半正定这个概念的原因 我们首先假设 函数在定义域上连续 函数在定义域上二阶可导 现在要证明的是： definition 1st-order condition 1st-order

在众多的机器学习模型中，线性代数的身影无处不在，当然，我们也会时常碰到线性代数中的正定矩阵和半正定矩阵。例如，多元正态分布的协方差矩阵要求是半正定的。 1. 基本的定义 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。 初学线性代数的读者可能会被这两个词“唬住”，但正定矩阵和半正定矩阵的定义实际上是很简单的 (不考虑复数构成的矩阵)： 【定义1】给定一个大小为 的实对称矩阵 ，若对于任意长度为 的非零向量 ，有 恒成立，则矩阵 是一个正定矩阵。 【例1】单位矩阵 是否是正定矩阵？ 解：设向量 为非零向量，则 由于 ，故 恒成立，即单位矩阵 是正定矩阵。 单位矩阵是正定矩阵 (positive definite)。 【简单证明】对于任意单位矩阵 而言，给定任意非零向量 ，恒有 【例2】 实对称矩阵 是否是正定矩阵？ 解：设向量 为非零向量，则 因此，矩阵 是正定矩阵。 【定义2】给定一个大小为 的实对称矩阵 ，若对于任意长度为 的向量 ，有 恒成立，则矩阵 是一个半正定矩阵。 根据正定矩阵和半正定矩阵的定义，我们也会发现：半正定矩阵包括了正定矩阵，与非负实数 (non-negative real number)和正实数 (positive real

同时合同对角化问题 Theorem： 设$A$是$n$阶正定实对称矩阵，$B$为同阶的实对称矩阵，则必存在可逆矩阵$C$，使得 \[C'AC=I_n,C'BC=diag\{\lambda_1,\cdots,\lambda_n\}\] 其中$\{\lambda_1,\cdots,\lambda_n\}$为矩阵$A^{-1}B$的特征值. Proof： 由于$A$为正定的，则存在可逆矩阵$P$，使得$P'AP=I_n$.由于矩阵$P'BP$为实对称矩阵，则存在正交矩阵$Q$，使得$Q'(P'BP)Q=diag\{\lambda_1,\cdots,\lambda_n\}$. 令$C=PQ$，则满足$C'BC=diag\{\lambda_1,\cdots,\lambda_n\}$.由于 \[C'(\lambda A-B)C=\lambda I_n-C'BC=diag\{\lambda-\lambda_1,\cdots,\lambda-\lambda_n\}\] 则$\lambda_i$为多项式$|\lambda A-B|$的根，又$A$可逆，则也为$|\lambda I_n-A^{-1}B|$的根. 利用上述Theorem证明几个例子： Example 1： 设$A$为$n$阶正定实对称矩阵，$B$为同阶半正定实对称矩阵，则$|A+B|\geq |A|+|B|$，等号成立的充要条件是$B