协方差矩阵—黑塞矩阵—正定矩阵

文章目录

• 一、基本概念
• 1.1 协方差矩阵 及推导
• 1.2 黑塞矩阵 示例
• 1.3 正定矩阵定义及性质
• 1.4 正定矩阵 示例

一、基本概念

1.1 协方差矩阵 及推导

在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n,
是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。
关于 协方差 与 散度 ：https://blog.csdn.net/wsp_1138886114/article/details/80967843

方差：$var(X) = \frac{\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})}{n-1}$

各个维度偏离其均值的程度，协方差：$\text{cov}(X,Y) = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$

协方差矩阵的计算：

$cov(z) = \begin{pmatrix} 1 & 2 &3 &4 \\ 3&4 &1 & 2\\ 2& 3& 1& 4 \end{pmatrix}j$

将二元函数的泰勒展开式推广到多元函数，则$f(x_1,x_2,...x_n)在X^{(0)}$点处的泰勒展开式的矩阵形式为：
$f(X) = f(X^{(0)})+ \triangledown f f(X^{(0)})^T\Delta X+\frac{1}{2}\Delta X^TG(X^{(0)})+\Delta X...$

1.2 黑塞矩阵 示例

1.3 正定矩阵定义及性质

在线性代数中，正定矩阵（positive definite matrix）简称正定阵。
定义：A是n阶方阵，如果对于任何非零向量x都有$x^TAx>0$就称A正定矩阵。

1.4 正定矩阵 示例

来源：CSDN

作者：SongpingWang

链接：https://blog.csdn.net/wsp_1138886114/article/details/81005881