二次型

Hessian矩阵与多元函数极值 海塞矩阵（Hessian Matrix），又译作海森矩阵，是一个多元函数的二阶偏导数构成的方阵。虽然它是一个具有悠久历史的数学成果。可是在机器学习和图像处理（比如SIFT和SURF特征检測）中，我们也经常遇到它。所以本文就来向读者道一道Hessian Matrix的来龙去脉。本文的主要内容包括： 多元函数极值问题 泰勒展开式与Hessian矩阵 多元函数极值问题 回忆一下我们是怎样处理一元函数求极值问题的。 比如。 f ( x ) = x 2 ，我们会先求一阶导数，即 f ′ ( x ) = 2 x ，依据费马定理极值点处的一阶导数一定等于 0 。但这仅是一个必要条件。而非充分条件。对于 f ( x ) = x 2 来说，函数的确在一阶导数为零的点取得了极值，可是对于 f ( x ) = x 3 来说，显然只检查一阶导数是不足以下定论的。 这时我们须要再求一次导，假设二阶导数 f ″ < 0 ，那么说明函数在该点取得局部极大值；假设二阶导数 f ″ > 0 ，则说明函数在该点取得局部极小值；假设 f ″ = 0 。则结果仍然是不确定的，我们就不得不再通过其它方式来确定函数的极值性。 假设要在多元函数中求极值点，方法与此相似。 作为一个演示样例。最好还是用一个三元函数 f = f ( x , y , z ) 来作为演示样例

目录 数学基础知识 高等数学 线性代数 概率论和数理统计 数学基础知识 数据科学需要一定的数学基础，但仅仅做应用的话，如果时间不多，不用学太深，了解基本公式即可，遇到问题再查吧。 以下是以前考研考博时候的数学笔记，难度应该在本科3年级左右。 高等数学 1.导数定义： 导数和微分的概念 $f'({{x} {0}})=\underset{\Delta x\to 0}{\mathop{\lim }},\frac{f({{x} {0}}+\Delta x)-f({{x}_{0}})}{\Delta x}$ （1） 或者： $f'({{x} {0}})=\underset{x\to {{x} {0}}}{\mathop{\lim }},\frac{f(x)-f({{x} {0}})}{x-{{x} {0}}}$ （2） 2.左右导数导数的几何意义和物理意义 函数$f(x)$在$x_0$处的左、右导数分别定义为： 左导数：${{{f}'} {-}}({{x} {0}})=\underset{\Delta x\to {{0}^{-}}}{\mathop{\lim }},\frac{f({{x} {0}}+\Delta x)-f({{x} {0}})}{\Delta x}=\underset{x\to x_{0}^{-}}{\mathop{\lim }},\frac{f(x)-f({{x} {0}