今天要扫盲的知识点是原始问题和对偶问题，这个知识点主要牵涉拉格朗日乘数法。整理这个知识点，主要是为理解下一个知识点（支持向量机 ）做准备的！
原问题，又称原线性规划问题，是指每一个线性规划的原始问题，每个原问题均可以转化为与其对称的对偶问题。原问题与对偶问题是相对的，二者为同类型的规划，构成对偶规划的一般规则如下：
若原问题是极大化问题，那么对偶问题就是极小化问题；若原问题是极小化问题，那么对偶问题就是极大化问题。
在原问题与对偶问题中，约束右端向量与目标函数中系数恰好对换。
对于极小化问题的“≥ ”型约束(极大化问题的“≤ ”型约束)，相应的对偶变量有非负限制；对于极小化问的“≤ ”型约束(极大化问题的“≥
对于极小化问题的具有非负限制的变量(极大化问题的具有非正限制的变量)，在其对偶中相应的约束为“≤ ”型不等式；对于极小化问题的具有非正限制的变量(极大化问题的具有非负限制的变量)，在其对偶问题中相应的约束为“≥ ”型不等式；
对于原问题中无正负限制的变量，在其对偶问题中相应的约束为等式。
定义： 设f ( x ) , g i ( x ) , h j ( x ) f(x), g_i(x), h_j(x) f ( x ) , g i ( x ) , h j ( x ) R n R^n R n min w f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n ) \begin{array}{rcl}&&\min_w\;f(x)\\s.t.\;g_i(x)&\leq&0\;(i=1,...,k)\\h_j(x)&=&0\;(j=1,...,n)\\&&
\end{array} s . t . g i ( x ) h j ( x ) ≤ = min w f ( x ) 0 ( i = 1 , . . . , k ) 0 ( j = 1 , . . . , n ) (五 ]约束最优化问题是有约束条件的 ，我们不能无视约束条件呀，那在约束条件下应该怎么求解呢？？此时，拉格朗日来了，他整了个 拉格朗日乘数法 出来专门把这令人头大的约束条件去掉，将约束最优化问题变成无约束最优化问题！
在介绍拉格朗日之前需要普及一下我们常见的最优化问题可分为三种类型：
无约束条件：min x f ( x ) \min_x f(x) x min f ( x )
有等式约束条件的：min x f ( x ) s . t . g i ( x ) = 0 ; ( i = 1 , . . . , n ) \min_x f(x)\\
s.t.g_i(x)=0; (i=1,...,n) x min f ( x ) s . t . g i ( x ) = 0 ; ( i = 1 , . . . , n )
在第2类基础上再加入不等式约束条件的：min x f ( x ) s . t . g i ( x ) ≤ 0 ; ( i = 1 , . . . , n ) h j ( x ) = 0 ; ( j = 1 , . . . , k ) \min_x f(x)\\
s.t.g_i(x)\le0; (i=1,...,n)\\
h_j(x)=0;(j=1,...,k) x min f ( x ) s . t . g i ( x ) ≤ 0 ; ( i = 1 , . . . , n ) h j ( x ) = 0 ; ( j = 1 , . . . , k )
插入拉格朗日乘数法的一点介绍，为了更好地理解下面的内容。
Lagrange Multiplier Method：是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n个变量 与k个约束条件 的最优化问题 转换为一个有n + k个变量的方程组的极值问题 ，其变量不受任何约束。这种方法引入了一个拉格朗日乘子 ：约束方程的梯度（gradient）的线性组合里每个向量的系数。
注意啦！！！拉格朗日乘数法主要是解决第2类优化问题，通过引入拉格朗日乘子将等式约束问题变成无约束问题。
表达式： L = f ( x , y , z ) + λ φ ( x , y , z ) = 0 L=f(x,y,z)+\lambda \varphi(x,y,z)=0 L = f ( x , y , z ) + λ φ ( x , y , z ) = 0
适用领域范围： 多元函数求极值
给定二元函数z = f ( x , y ) z=f(x,y) z = f ( x , y ) 附加条件g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 ，为寻找z = f ( x , y ) z=f(x,y) z = f ( x , y ) F ( x , y , λ ) = f ( x , y ) + λ g ( x , y ) F(x,y,\lambda)=f(x,y)+\lambda g(x,y) F ( x , y , λ ) = f ( x , y ) + λ g ( x , y ) λ \lambda λ x , y , λ x,y,\lambda x , y , λ F ′ x = f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 F ′ y = f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 F ′ λ = g ( x , y ) = 0 \begin{array}{l}{F^\prime}_x=f^\prime_x(x,y)+\lambda g^\prime_x(x,y)=0\\{F^\prime}_y=f^\prime_y(x,y)+\lambda g^\prime_y(x,y)=0\\{F^\prime}_\lambda=g(x,y)=0\end{array} F ′ x = f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 F ′ y = f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 F ′ λ = g ( x , y ) = 0 x , y , λ x,y,\lambda x , y , λ g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 可能的极值点 。因为导数为0的只是有极值的必要条件，而不是充分条件 ，即有极值的地方,其切线的斜率一定为0; 切线斜率为0的地方,不一定是极值点。
上图所示，蓝色线表示函数f ( x , y ) f(x,y) f ( x , y ) g ( x , y ) g(x,y) g ( x , y ) g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 f ( x , y ) f(x,y) f ( x , y ) 在g(x,y)=0这条红线上，找到一个使得f(x,y)值尽可能最小的点 ，从图上可以看到，当f(x,y)的梯度不断缩小，那么红线与蓝线就相离；而当f(x,y)的梯度不断增大，那么红线与蓝线就相交，因此总有一个点能使得两者相交，而相切的地方就是最小值 ，因为两线相切，目标函数与条件函数在切点处的法线是反向共线的 ，并且切点处的也满足约束条件，就有：f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 g ( x , y ) = 0 \begin{array}{l}f^\prime_x(x,y)=-\lambda g^\prime_x(x,y)\Leftrightarrow f^\prime_x(x,y)+\lambda g^\prime_x(x,y)=0\\
f^\prime_x(x,y)=-\lambda g^\prime_x(x,y)\Leftrightarrow f^\prime_y(x,y)+\lambda g^\prime_y(x,y)=0\\
g(x,y)=0\end{array} f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 g ( x , y ) = 0
回到上一节的问题，采用拉格朗日乘数法来去掉原始问题中的约束条件。首先根据约束最优化问题（原始问题）的形式来定义拉格朗日公式（3）：L ( x , α , β ) = f ( x ) + ∑ i k α i g i ( x ) + ∑ j n α j h j ( x ) \begin{array}{l}L(x,\alpha,\beta)=f(x)+\sum_i^k\alpha_ig_i(x)+\sum_j^n\alpha_jh_j(x)\end{array} L ( x , α , β ) = f ( x ) + ∑ i k α i g i ( x ) + ∑ j n α j h j ( x ) α , β \alpha,\beta α , β α ≤ 0 \alpha\le0 α ≤ 0
对于上式，此时的g(x)和h(x)已经不再是约束条件了，所以g(x)的值可能大于0，h(x)的值可能不等于0。如果直接根据公式(3)计算最小值的话，可能会出现以下错误情况 ：当g ( x ) ≤ 0 g(x)\le0 g ( x ) ≤ 0 α \alpha α θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) \theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta) θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β ) α , β \alpha,\beta α , β α , β \alpha,\beta α , β x x x
为什么要对公式3做最大化呢？ 这原因有很多文章都没有讲清楚的，原因是要排除我们上面提到的错误情况 的发生，下面来一步一步分析最大化拉格朗日函数的可行性：
假设g和h函数不满足约束条件 的情况下，即g i ( x ) > 0 , h j ( x ) ≠ 0 g_i(x)\gt0,h_j(x)\neq0 g i ( x ) > 0 , h j ( x ) = 0 α , β \alpha,\beta α , β θ p ( x ) \theta_p(x) θ p ( x )
假设g和h函数满足约束条件 的情况下，即g i ( x ) ≤ 0 , h j ( x ) = 0 g_i(x)\le0,h_j(x)=0 g i ( x ) ≤ 0 , h j ( x ) = 0 θ p ( x ) = max α , β L ( x , α , β ) = f ( x ) \theta_p(x)=\max_{\alpha,\beta}L(x,\alpha,\beta)=f(x) θ p ( x ) = max α , β L ( x , α , β ) = f ( x )
因此可得出（公式5）：θ p ( x ) = { f ( x ) x满足原始问题的约束条件 − ∞ 其他 \theta_p(x)=
\begin{cases}
f(x)& \text{x满足原始问题的约束条件}\\
-\infty& \text{其他}
\end{cases} θ p ( x ) = { f ( x ) − ∞ x 满足原始问题的约束条件 其他 在满足约束条件下，我们将θ p ( x ) \theta_p(x) θ p ( x ) （公式6）min x θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) = min x f ( x ) \min_x\theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta)=\min_x f(x) x min θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β ) = x min f ( x ) p ∗ = min x θ p ( x ) p^*=\min_x\theta_p(x) p ∗ = x min θ p ( x )
上述，应用拉格朗日方法就为原始问题重新定义了一个无约束问题。理解了上面的过程，下面的内容就相对容易了。
定义关于α , β \alpha,\beta α , β θ D ( α , β ) = min x L ( x , α , β ) \theta_D(\alpha,\beta)=\min_xL(x,\alpha,\beta) θ D ( α , β ) = x min L ( x , α , β )
注意：上式（8）等式右边是关于 x x x x x x α , β \alpha,\beta α , β α , β \alpha,\beta α , β θ D ( x ) \theta_D(x) θ D ( x ) max α , β : α ≥ 0 θ D ( α , β ) = max α , β : α ≥ 0 min x L ( x , α , β ) \max_{\alpha,\beta:\alpha \ge0}\theta_D(\alpha,\beta)=\max_{\alpha,\beta:\alpha \ge0}\min_xL(x,\alpha,\beta) α , β : α ≥ 0 max θ D ( α , β ) = α , β : α ≥ 0 max x min L ( x , α , β ) min x θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) \min_x\theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta) x min θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β )
原始问题是先固定L ( x , α , β ) L(x,\alpha,\beta) L ( x , α , β ) α , β \alpha,\beta α , β
对偶问题是先固定L ( x , α , β ) L(x,\alpha,\beta) L ( x , α , β ) α , β \alpha,\beta α , β α , β \alpha,\beta α , β
最后，我们重新定义对偶问题的最优值为（公式10）：d ∗ = max α , β : α ≥ 0 θ p ( α , β ) d^*=\max_{\alpha,\beta:\alpha \ge0}\theta_p(\alpha,\beta) d ∗ = α , β : α ≥ 0 max θ p ( α , β )
定理： 若原始问题与对偶问题都有最优值，则有：d ∗ = max α , β : α ≥ 0 θ p ( α , β ) ≤ min x θ p ( x ) = p ∗ d^*=\max_{\alpha,\beta:\alpha \ge0}\theta_p(\alpha,\beta)\le \min_x\theta_p(x)=p^* d ∗ = α , β : α ≥ 0 max θ p ( α , β ) ≤ x min θ p ( x ) = p ∗ 这篇文章看看
推理： 设分别是x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗ d ∗ = p ∗ d^*=p^* d ∗ = p ∗ x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗
那么，当原始问题和对偶问题的最优值相等：d ∗ = p ∗ d^*=p^* d ∗ = p ∗ d ∗ = p ∗ d^*=p^* d ∗ = p ∗ Karush-Kuhn-Tucher,KKT 来解释。
在数学上，KKT条件是在满足一些有规则的条件下，一个非线性规划（Nonlinear Programming）问题能有最优化解法的一个必要和充分条件。这是一个广义化拉格朗日乘数的成果。
KKT条件专门用于解决不等式约束条件的 ，在上面，我们提到了对于单个等式约束条件问题求解最优的方法，可直接将等式约束通过拉格朗日换成无约束 ，但是对于含有不等式约束条件和等式约束条件的问题，则需要引入KKT条件。min w f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n ) \min_wf(x)\\
s.t.\;g_i(x)\le 0\;(i=1,...,k)\\
\;h_j(x)=0\;(j=1,...,n)
w min f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n )
先把不等式约束条件转化为等式约束条件 。→ \to → 松弛变量 ，即KKT乘子
再把等式约束转化为无约束优化问题 。 → \to → 拉格朗日乘子
给定二元函数z = f ( x , y ) z=f(x,y) z = f ( x , y ) g ( x , y ) ≤ 0 g(x,y)\le0 g ( x , y ) ≤ 0 z = f ( x , y ) z=f(x,y) z = f ( x , y )
如果最优解恰好在边界上 ，那么这个就可以通过拉格朗日来求解。
如果最优解在阴影区内部 ，最优解不在边界上，那该解一定是单纯只考虑 f(x, y) 的最优解，也就是直接求f ′ ( x , y ) = 0 f^\prime(x,y)=0 f ′ ( x , y ) = 0 f ′ ( x , y ) + λ g ′ ( x , y ) = 0 f^\prime(x,y)+\lambda g^\prime(x,y)=0 f ′ ( x , y ) + λ g ′ ( x , y ) = 0 因为要取得最小值，所以目标函数的梯度一定是和约束曲线的梯度反向 ，因此得到λ ≥ 0 \lambda\ge0 λ ≥ 0
因此，将上述情况合并，我们写出拉格朗日函数：L ( x , y , λ ) = f ( x , y ) + ∑ i = 1 n λ i g i ( x , y ) L(x,y,\lambda)=f(x,y)+\sum_{i=1}^n\lambda_ig_i(x,y) L ( x , y , λ ) = f ( x , y ) + i = 1 ∑ n λ i g i ( x , y ) x ∗ , y ∗ , λ ∗ x^*,y^*, \lambda^* x ∗ , y ∗ , λ ∗
( 拉 格 朗 日 条 件 ) L x ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 条 件 ) L y ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 条 件 ) L λ ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( a 条 件 ) λ i g i ( x ∗ ) = 0 ( 原 始 问 题 约 束 条 件 ) g i ( x ) ≤ 0 ( 梯 度 反 向 ) α i ∗ ≥ 0 (拉格朗日条件)L^\prime_x(x^\ast,y^\ast,\lambda^\ast)=0\\
(拉格朗日条件)L^\prime_y(x^\ast,y^\ast,\lambda^\ast)=0\\
(拉格朗日条件)L^\prime_\lambda(x^\ast,y^\ast,\lambda^\ast)=0\\
(a条件)\lambda_ig_i(x^\ast)=0\\
(原始问题约束条件)g_i(x)\leq0\\
(梯度反向)\alpha_i^\ast\geq0\\
( 拉 格 朗 日 条 件 ) L x ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 条 件 ) L y ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 条 件 ) L λ ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( a 条 件 ) λ i g i ( x ∗ ) = 0 ( 原 始 问 题 约 束 条 件 ) g i ( x ) ≤ 0 ( 梯 度 反 向 ) α i ∗ ≥ 0 该条件也称为KKT的对偶互补条件。
到此为止我们推出了KKT的所有条件。
定理： 对于原始问题和对偶问题，假设目标函数f(x)和不等式约束函数g(x)是凸函数 ，等式约束函数h(x)是仿射函数 ，并且假设不等式约束g(x)是严格凸函数 ，即存在x，对所有i有g i ( x ) < 0 g_i(x)\lt0 g i ( x ) < 0 凸优化问题 ），则存在x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗ d ∗ = p ∗ = L ( x ∗ , α ∗ , β ∗ ) d^*=p^*=L(x^*,\alpha^*,\beta^*) d ∗ = p ∗ = L ( x ∗ , α ∗ , β ∗ )
使得上述定理成立的充要条件是满足下面的KKT条件：L x ′ ( x ∗ , α ∗ , β ∗ ) = 0 L α ′ ( x ∗ , α ∗ , β ∗ ) = 0 L β ′ ( x ∗ , α ∗ , β ∗ ) = 0 α i g i ( x ∗ ) = 0 g i ( x ) ≤ 0 α i ∗ ≥ 0 h j ( x ∗ ) = 0 L^\prime_x(x^\ast,\alpha^\ast,\beta^\ast)=0\\
L^\prime_\alpha(x^\ast,\alpha^\ast,\beta^\ast)=0\\
L^\prime_\beta(x^\ast,\alpha^\ast,\beta^\ast)=0\\
\alpha_ig_i(x^\ast)=0\\g_i(x)\leq0\\\alpha_i^\ast\geq0\\h_j(x^\ast)=0\\
L x ′ ( x ∗ , α ∗ , β ∗ ) = 0 L α ′ ( x ∗ , α ∗ , β ∗ ) = 0 L β ′ ( x ∗ , α ∗ , β ∗ ) = 0 α i g i ( x ∗ ) = 0 g i ( x ) ≤ 0 α i ∗ ≥ 0 h j ( x ∗ ) = 0 前四条是拉格朗日乘数法需要满足的条件：分别对各个变量的偏导数等于0，以及附加条件g ( x ) g(x) g ( x ) h ( x ) h(x) h ( x ) （其中，h ( x ) h(x) h ( x ) 后面三条是原始问题的约束条件 。
终于梳理完了，呼~真的好累…
参考文章：https://blog.csdn.net/fkyyly/article/details/86488582
https://blog.csdn.net/weixin_30430169/article/details/99104890?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
https://blog.csdn.net/dpengwang/article/details/88355744?utm_source=app
