黑塞矩阵

牛顿法(Newton method)和拟牛顿法(quasi-Newton method)也是求解无约束最优化的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步需要求解目标函数的黑塞矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似黑塞矩阵的逆矩阵或黑塞矩阵，简化了这一计算过程。 牛顿法 考虑无约束最优化问题 min ⁡ x ∈ R n f ( x ) (B.1) \min_{x\in R^n}f(x)\tag{B.1} x ∈ R n min ​ f ( x ) ( B . 1 ) 其中 x ∗ x^* x ∗ 为目标函数的极小值。 ​ 假设f(x)具有二阶连续偏导数，若第k次迭代值为 x ( k ) x^{(k)} x ( k ) ,则可将f(x)在 x ( k ) x^{(k)} x ( k ) 附近进行二阶泰勒展开： f ( x ) = f ( x ( k ) ) + g k T ( x − x ( k ) ) + 1 2 ( x − x ( k ) ) T H ( x ( k ) ) ( x − x ( k ) ) (B.2) f(x)=f(x^{(k)})+g^T_k(x-x^{(k)})+\frac{1}{2}(x-x^{(k)})^TH(x^{(k)})(x-x^{(k)}) \tag{B.2} f ( x ) = f ( x ( k ) ) + g k T

文章目录 一、基本概念 1.1 协方差矩阵 及推导 1.2 黑塞矩阵 示例 1.3 正定矩阵定义及性质 1.4 正定矩阵 示例 一、基本概念 1.1 协方差矩阵 及推导 在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n, 是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。 关于 协方差 与 散度 ：https://blog.csdn.net/wsp_1138886114/article/details/80967843 方差 ： v a r ( X ) = ∑ i = 1 n ( X i − X ˉ ) ( X i − X ˉ ) n − 1 var(X) = \frac{\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})}{n-1} v a r ( X ) = n − 1 ∑ i = 1 n ​ ( X i ​ − X ˉ ) ( X i ​ − X ˉ ) ​ 各个维度偏离其均值的程度， 协方差 ： cov ( X , Y ) = ∑ i = 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 \text{cov}(X,Y) = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1} cov ( X , Y ) =