正定矩阵

凸集、凸函数、凸优化与解的最优化条件 1 凸集 Definition 1.1 A set S is convex if, for any x,y ∈ \in ∈ S and θ ∈ R \theta \in \mathbb{R} θ ∈ R with 0 ≤ θ ≤ \leq \theta \leq ≤ θ ≤ 1 θ x + ( 1 − θ ) y ∈ S . \theta x + (1-\theta)y \in S. θ x + ( 1 − θ ) y ∈ S . 几何表述： 若集合S中任意两个元素连线上的点也在集合S中，则S为凸集。其示意图如下： Defination 1.2 设向量{ x i x_i x i ​ }, i = 1,2,…,n, 如有实数 λ i ≥ 0 \lambda_i \geq 0 λ i ​ ≥ 0 , 且 ∑ i = 1 n λ i = 1 \sum\limits_{i=1}^{n}{\lambda_i} = 1 i = 1 ∑ n ​ λ i ​ = 1 , 则称 ∑ i = 1 n λ i x i \sum\limits_{i = 1}^{n} \lambda_i x_i i = 1 ∑ n ​ λ i ​ x i ​ 为向量{ x i x_i x i ​ }的一个 凸组合 （凸线性组合）。 性质1: 任意两个凸集的交仍为凸集。 性质2:

矩阵 A ∈ R m × n 和 B ∈ R n × p 的乘积为矩阵 ： 其中： . 请注意，矩阵A的列数应该与矩阵B的行数相等，这样才存在矩阵的乘积。有很多种方式可以帮助我们理解矩阵乘法，这里我们将通过一些例子开始学习。 2.1 向量的乘积 给定两个向量x，y ∈ R n ，那么x T y的值，我们称之为向量的 内积 或 点积。它 是一个由下式得到的实数： . 可以发现，内积实际上是矩阵乘法的一个特例。通常情况下x T y = y T x。 对于向量x ∈ R m ， y ∈ R n （大小不必相同），xy T ∈ R m×n 称为向量的 外积 。外积是一个矩阵，其中中的每个元素，都可以由 得到，也就是说， . 我们举个例子说明外积有什么用。令 1 ∈ R n 表示所有元素都是1的n维向量，然后将矩阵 A ∈ R m × n 的每一列都用列向量 x ∈ R m 表示。使用外积，我们可以将A简洁的表示为： . 2.2 矩阵 - 向量的乘积 对于一个矩阵 A ∈ R m × n 和向量 x ∈ R n ，他们的乘积为向量 y = Ax ∈ R m 。理解矩阵向量乘法的方式有很多种，我们一起来逐一看看。 以行的形式书写A，我们可以将其表示为Ax的形式： . 也就是说， y 第 i 行的元素等于A的第 i 行与x的内积 . 咱们换个角度，以列的形式表示A，我们可以看到： . 换言之，

这部分我们关注有正特征值的对称矩阵。如果对称性使得一个矩阵重要，那么所有特征值大于零这个额外属性则让这个矩阵真正特殊。但我们这里的特殊并不是稀少，事实上在各种应用中具有正特征值的对称矩阵非常常见，它们被称作 正定矩阵 。 我们可以通过检查特征值是否大于零来识别正定矩阵，但计算特征值是一项工作，当我们真正需要它们的时候我们可以进行计算，而如果我们仅仅想知道它们是否是正的，我们有更快的方式。 1. 正定矩阵的判断 首先，由于矩阵是对称的，所有的特征值自然都是实数。让我们以一个 2×2 的矩阵开始， \[A = \begin{bmatrix} a&b \\b&c\end{bmatrix}\] A 的特征值是正的当且仅当 \(a > 0\) 并且 \(ac-b^2>0\) 。 如果 2×2 矩阵的特征值 \(\lambda_1>0\) ， \(\lambda_2>0\) ，那么它们的乘积等于行列式， \(\lambda_1\lambda_2=|A|=ac-b^2>0\) ，它们的和等于矩阵的迹， \(\lambda_1+\lambda_2=a+c>0\) ，所以 \(a\) 和 \(c\) 都必须是正的。 A 的特征值是正的当且仅当主元是正的。 这连接了线性代数的两大部分， 正的特征值意味着正的主元，反之亦然 。而且，主元往往比特征值计算得更快。 基于能量的定义 \[Ax=\lambda

文章目录 一、基本概念 1.1 协方差矩阵 及推导 1.2 黑塞矩阵 示例 1.3 正定矩阵定义及性质 1.4 正定矩阵 示例 一、基本概念 1.1 协方差矩阵 及推导 在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n, 是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。 关于 协方差 与 散度 ：https://blog.csdn.net/wsp_1138886114/article/details/80967843 方差 ： v a r ( X ) = ∑ i = 1 n ( X i − X ˉ ) ( X i − X ˉ ) n − 1 var(X) = \frac{\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})}{n-1} v a r ( X ) = n − 1 ∑ i = 1 n ​ ( X i ​ − X ˉ ) ( X i ​ − X ˉ ) ​ 各个维度偏离其均值的程度， 协方差 ： cov ( X , Y ) = ∑ i = 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 \text{cov}(X,Y) = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1} cov ( X , Y ) =

正定矩阵、负定矩阵、半正定矩阵、半负定矩阵 载 ▼ 1.正定矩阵 一个 n × n 的实 对称矩阵 M 是 正定 的， 当且仅当 对于所有的非零实系数 向量 z ，都有 z T M z > 0 。其中 z T 表示 z 的 转置 。 2.负定矩阵 与正定矩阵相对应的，一个 n × n 的埃尔米特矩阵 是 负定矩阵 当且仅当对所有不为零的 （或 ），都有： 3. 半正定矩阵 是 半正定矩阵 当且仅当对所有不为零的 （或 ），都有： 4. 半负定矩阵 是 半负定矩阵 当且仅当对所有不为零的 （或 ），都有： 正定阵的判别 [ 编辑 ] 对 n × n 的 埃尔米特矩阵 M ，下列性质与“ M 为正定矩阵”等价： 1. 矩阵 的所有的 特征值 都是正的。根据 谱定理 ， M 必然与一个实 对角矩阵 D 相似 （也就是说 ，其中 P 是 幺正矩阵 ，或者说 M 在某 个 正交基 可以表示为一个实 对角矩阵 ）。因此， M 是正定阵当且仅当相应的 D 的对角线上元素都是正的。 2. 半双线性形式 定义了一个 C n 上的 内积 。实际上，所有 C n 上的内积都可看做由某个正定阵通过此种方式得到。 3. M 是 n 个线性无关的 k 维向量 的 Gram矩阵 ，其中的 k 为某个正整数。更精确地说， M 定义为： 换句话说， M 具有 的形式，其中 A 不一定是方阵，但需要是单射的。 4.

乍看正定和半正定会被吓得虎躯一震，因为名字取得不知所以，所以老是很排斥去理解这个东西是干嘛用的，下面根据自己和结合别人的观点解释一下什么是 正定矩阵(positive definite, PD) 和 半正定矩阵(positive semi-definite, PSD) 。 定义 首先从定义开始对PD和PSD有一个初步的概念： 正定矩阵(PD) : 给定一个大小为 \(n\times n\) 的 实对称矩阵 \(A\) ，若对于任意长度为 \(n\) 的非零向量 \(X\) ，有 \(X^TAX>0\) 恒成立，则矩阵 \(A\) 是一个正定矩阵。 半正定矩阵(PSD) 给定一个大小为 \(n\times n\) 的 实对称矩阵 \(A\) ，若对于任意长度为 \(n\) 的非零向量 \(X\) ，有 \(X^TAX≥0\) 恒成立，则矩阵 \(A\) 是一个半正定矩阵。 说人话来理解 光看定义其实肯定不能理解到底是个啥，以及为什么要这么定义。所以下面用说人话的方式来进行解释。 仔细看一下上面的定义可以看到两种矩阵的唯一区别就是正定要求是大于0，而半正定要求大于等于0。这个是不是很像二次函数 \(y=ax^2\) ： 当 \(a>0\) 时, \(y>0\) ； 当 \(a≥0\) 时， \(y≥0\) 。 其实我们可以把 \(y=X^TAX\) 看作是 \(y=ax^2\)