凸函数

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 Proj-SGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv