拉格朗日乘子法
接下来准备写支持向量机,然而支持向量机和其他算法相比牵涉较多的数学知识,其中首当其冲的就是标题中的拉格朗日乘子法、KKT条件和对偶问题,所以本篇先作个铺垫。 大部分机器学习算法最后都可归结为最优化问题。对于无约束优化问题: $\min\limits_\boldsymbol{x} f(\boldsymbol{x})$ (本篇为形式统一,只考虑极小化问题),一般可直接求导并用梯度下降或牛顿法迭代求得最优值。 <br> 对于含有等式约束的优化问题,即: $$ \begin{aligned} {\min_{\boldsymbol{x}}} & ;;{f(\boldsymbol{x})} \ {\text { s.t. }} & ;;{h_{i}(\boldsymbol{x}) = 0}, \quad i=1,2, \ldots, m \end{aligned} $$ 由于等式约束 $h_i(\boldsymbol{x}) = 0$ 的存在,无法直接求导迭代求解。拉格朗日乘子法是解决此类问题的常用方法,其核心思想是将约束优化转化为无约束优化问题,即将有 $d$ 个变量和 $m$ 个等式约束条件的最优化问题转换为一个有 $(d + m)$ 个变量的函数求平稳点的问题。 <br><br><br><br> <center>拉格朗日乘子法</center> 下面画图来直观理解拉格朗日乘子法