正定

在众多的机器学习模型中，线性代数的身影无处不在，当然，我们也会时常碰到线性代数中的正定矩阵和半正定矩阵。例如，多元正态分布的协方差矩阵要求是半正定的。 1. 基本的定义 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。 初学线性代数的读者可能会被这两个词“唬住”，但正定矩阵和半正定矩阵的定义实际上是很简单的 (不考虑复数构成的矩阵)： 【定义1】给定一个大小为 的实对称矩阵 ，若对于任意长度为 的非零向量 ，有 恒成立，则矩阵 是一个正定矩阵。 【例1】单位矩阵 是否是正定矩阵？ 解：设向量 为非零向量，则 由于 ，故 恒成立，即单位矩阵 是正定矩阵。 单位矩阵是正定矩阵 (positive definite)。 【简单证明】对于任意单位矩阵 而言，给定任意非零向量 ，恒有 【例2】 实对称矩阵 是否是正定矩阵？ 解：设向量 为非零向量，则 因此，矩阵 是正定矩阵。 【定义2】给定一个大小为 的实对称矩阵 ，若对于任意长度为 的向量 ，有 恒成立，则矩阵 是一个半正定矩阵。 根据正定矩阵和半正定矩阵的定义，我们也会发现：半正定矩阵包括了正定矩阵，与非负实数 (non-negative real number)和正实数 (positive real

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/vivian_ll/article/details/90371758 正定矩阵 在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。 定义 : A A A 是n阶方阵，如果对任何非零向量 x x x ，都有 x T A x > 0 x^TAx>0 x T A x > 0 ，其中 x T x^T x T 表示 x x x 的转置，就称 A A A 正定矩阵。 性质 : 正定矩阵的行列式恒为正； 实对称矩阵 A A A 正定当且仅当 A A A 与单位矩阵合同； 两个正定矩阵的和是正定矩阵； 正实数与正定矩阵的乘积是正定矩阵。 等价命题 : 对于n阶实对称矩阵 A A A ，下列条件是等价的： A A A 是正定矩阵； A A A 的一切顺序主子式均为正； A A A 的一切主子式均为正； A A A 的特征值均为正； 存在实可逆矩阵C，使 A = C T C A=C^TC A = C T C ； 存在秩为n的m×n实矩阵B，使 A = B T B A=B^TB A = B T B ; 存在主对角线元素全为正的实三角矩阵R，使 A = R T R A=R^TR A = R T R 根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：

文章目录 一、基本概念 1.1 协方差矩阵 及推导 1.2 黑塞矩阵 示例 1.3 正定矩阵定义及性质 1.4 正定矩阵 示例 一、基本概念 1.1 协方差矩阵 及推导 在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n, 是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。 关于 协方差 与 散度 ：https://blog.csdn.net/wsp_1138886114/article/details/80967843 方差 ： v a r ( X ) = ∑ i = 1 n ( X i − X ˉ ) ( X i − X ˉ ) n − 1 var(X) = \frac{\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})}{n-1} v a r ( X ) = n − 1 ∑ i = 1 n ​ ( X i ​ − X ˉ ) ( X i ​ − X ˉ ) ​ 各个维度偏离其均值的程度， 协方差 ： cov ( X , Y ) = ∑ i = 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 \text{cov}(X,Y) = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1} cov ( X , Y ) =

正定矩阵、负定矩阵、半正定矩阵、半负定矩阵 载 ▼ 1.正定矩阵 一个 n × n 的实 对称矩阵 M 是 正定 的， 当且仅当 对于所有的非零实系数 向量 z ，都有 z T M z > 0 。其中 z T 表示 z 的 转置 。 2.负定矩阵 与正定矩阵相对应的，一个 n × n 的埃尔米特矩阵 是 负定矩阵 当且仅当对所有不为零的 （或 ），都有： 3. 半正定矩阵 是 半正定矩阵 当且仅当对所有不为零的 （或 ），都有： 4. 半负定矩阵 是 半负定矩阵 当且仅当对所有不为零的 （或 ），都有： 正定阵的判别 [ 编辑 ] 对 n × n 的 埃尔米特矩阵 M ，下列性质与“ M 为正定矩阵”等价： 1. 矩阵 的所有的 特征值 都是正的。根据 谱定理 ， M 必然与一个实 对角矩阵 D 相似 （也就是说 ，其中 P 是 幺正矩阵 ，或者说 M 在某 个 正交基 可以表示为一个实 对角矩阵 ）。因此， M 是正定阵当且仅当相应的 D 的对角线上元素都是正的。 2. 半双线性形式 定义了一个 C n 上的 内积 。实际上，所有 C n 上的内积都可看做由某个正定阵通过此种方式得到。 3. M 是 n 个线性无关的 k 维向量 的 Gram矩阵 ，其中的 k 为某个正整数。更精确地说， M 定义为： 换句话说， M 具有 的形式，其中 A 不一定是方阵，但需要是单射的。 4.

乍看正定和半正定会被吓得虎躯一震，因为名字取得不知所以，所以老是很排斥去理解这个东西是干嘛用的，下面根据自己和结合别人的观点解释一下什么是 正定矩阵(positive definite, PD) 和 半正定矩阵(positive semi-definite, PSD) 。 定义 首先从定义开始对PD和PSD有一个初步的概念： 正定矩阵(PD) : 给定一个大小为 \(n\times n\) 的 实对称矩阵 \(A\) ，若对于任意长度为 \(n\) 的非零向量 \(X\) ，有 \(X^TAX>0\) 恒成立，则矩阵 \(A\) 是一个正定矩阵。 半正定矩阵(PSD) 给定一个大小为 \(n\times n\) 的 实对称矩阵 \(A\) ，若对于任意长度为 \(n\) 的非零向量 \(X\) ，有 \(X^TAX≥0\) 恒成立，则矩阵 \(A\) 是一个半正定矩阵。 说人话来理解 光看定义其实肯定不能理解到底是个啥，以及为什么要这么定义。所以下面用说人话的方式来进行解释。 仔细看一下上面的定义可以看到两种矩阵的唯一区别就是正定要求是大于0，而半正定要求大于等于0。这个是不是很像二次函数 \(y=ax^2\) ： 当 \(a>0\) 时, \(y>0\) ； 当 \(a≥0\) 时， \(y≥0\) 。 其实我们可以把 \(y=X^TAX\) 看作是 \(y=ax^2\)