凸函数 | 易学教程

First Order Methods in Optimization Ch9. Mirror Descent

阅读更多关于 First Order Methods in Optimization Ch9. Mirror Descent

第九章: 镜像下降法文章目录第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法本章讨论镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

凸集、凸函数、凸优化与解的最优化条件

阅读更多关于凸集、凸函数、凸优化与解的最优化条件

凸集、凸函数、凸优化与解的最优化条件 1 凸集 Definition 1.1 A set S is convex if, for any x,y ∈ \in ∈ S and θ ∈ R \theta \in \mathbb{R} θ ∈ R with 0 ≤ θ ≤ \leq \theta \leq ≤ θ ≤ 1 θ x + ( 1 − θ ) y ∈ S . \theta x + (1-\theta)y \in S. θ x + ( 1 − θ ) y ∈ S . 几何表述：若集合S中任意两个元素连线上的点也在集合S中，则S为凸集。其示意图如下： Defination 1.2 设向量{ x i x_i x i }, i = 1,2,…,n, 如有实数 λ i ≥ 0 \lambda_i \geq 0 λ i ≥ 0 , 且 ∑ i = 1 n λ i = 1 \sum\limits_{i=1}^{n}{\lambda_i} = 1 i = 1 ∑ n λ i = 1 , 则称 ∑ i = 1 n λ i x i \sum\limits_{i = 1}^{n} \lambda_i x_i i = 1 ∑ n λ i x i 为向量{ x i x_i x i }的一个凸组合（凸线性组合）。性质1: 任意两个凸集的交仍为凸集。性质2: