哈尔滨工业大学计算机学院-最优化方法-课程总结
1. 前言 本课程由数学系开设,旨在讲述求解数学问题的各种最优化方法。 本博客仅对课程中的如下内容进行详细介绍: 凸集、凸函数、凸规划 线性规划 线性规划标准形式 单纯形法 无约束最优化方法 最优性条件 最速下降法 牛顿法 约束最优化方法 Kuhn-Tucker 条件 罚函数法 闸函数法 2. 凸集、凸函数、凸规划 2.1 凸集 凸集的定义: 设$S \subseteq \mathbf { R } ^ { n }$,若$\forall x ^ { ( 1 ) } , x ^ { ( 2 ) } \in S , \lambda \in [ 0,1 ]$,必有$\lambda x ^ { ( 1 ) } + ( 1 - \lambda ) x ^ { ( 2 ) } \in S$,则称$S$为凸集。 形式化理解凸集的定义,即集合中任意两点连线上的点都在集合内。 对于凸集的证明,往往利用定义进行证明。 2.2 凸函数 凸函数的定义: 设集合$S \subseteq \mathbf { R } ^ { n }$为凸集,函数$f : S \rightarrow \mathbf { R }$。若$\forall x ^ { ( 1 ) } , x ^ { ( 2 ) } \in S , \lambda \in ( 0,1 )$,恒有$f \left( x ^ { ( 1 ) } + ( 1 -