凸优化笔记——1.凸集

纵然是瞬间 提交于 2020-01-14 09:12:52

本章目录

凸集与仿射集

  1. 仿射集合 affine set
    定义:给定两点 x1,x2Rn,x1x2x_1,x_2 \in R^n, x_1 \neq x_2,所有满足 x=θx1+(1θ)x2,θRx = \theta x_1 + (1-\theta)x_2, \theta \in R 的点。
    注意:仿射集包含过集合中任意两点的直线。
    例子:线性方程组的解集是仿射集,C={xAx=b}C=\{x | Ax = b\}。反之亦然,任何一个仿射集都可以表示为一组线性方程组的解。
  2. 凸集 convex set
    定义:与仿射集类似,但要求 θ[0,1]\theta \in [0,1],即任取集合中x1,x2x_1,x_2,两点之间的线段组成的集合。
    例子:
    **1是,2和3不是**
  3. 凸组合与凸包 convex combination & convex hull
    凸组合定义:对于点 x1,x2,,xkx_1,x_2,\ldots,x_k,所有满足如下形式的点
    x=θ1x1+θ2x2++θkxki=1kθi=1,θi0x = \theta_1x_1 +\theta_2x_2 + \cdots + \theta_kx_k, \sum_{i=1}^k\theta_i=1,\theta_i\geq0
    凸包定义:记作 conv Cconv \ C ,集合C所有凸组合构成的集合。(对于非凸集来说,凸包是最小的包含该集合的凸集)
  4. 凸锥 convex cone
    锥组合定义:对于 x1.x2x_1.x_2, 所有满足 x=θ1x1+θ2x2θi0x = \theta_1x_1 + \theta_2x_2, \theta_i\geq0 形式的点。
    凸锥定义:包含集合内所有点的锥组合的集合。

一些例子

  1. 超平面与半空间 hyperplanes & halfspaces
    超平面定义:满足如下形式的集合,x={xaTx=b},a0,aRn,bRx = \{x|a^Tx=b\},a\neq0,a\in R^n,b\in R,即为超平面。
    在这里插入图片描述
    半空间定义:满足如下形式的集合,x={xaTxb},a0,aRn,bRx = \{x|a^Tx\leq b\},a\neq 0,a\in R^n,b\in R,即为半空间。
    注意:上面两个定义中,a是法向量;超平面是仿射集(自然也是凸集),半空间是凸集。
  2. 欧几里得球和欧几里得椭球 Euclidean Balls and Ellipsoids
    这里我们就用同一个表达式进行定义 {x(xxC)TP(xxc)1}\{x | (x-x_C)^TP(x-x_c)\leq1\}
    对于欧几里得球,矩阵P就是eyes(n),椭球就是对称正定矩阵。
    当然,也有其他表示方式,球{xc+ruu21}\{x_c+ru|\|u\|_2\leq1\},椭球{xc+Auu21}\{x_c+Au|\|u\|_2\leq1\},A为非奇异方阵。
  3. 范数球和范数锥 Norm Balls and Norm Cones
    范数球和范数锥就很简单了。
    范数球:{xxxcr}\{x|\|x-x_c\|\leq r\}
    范数锥:{(x,t)xt}\{(x,t)|\|x\|\leq t\}
    这里提个小问题,二位情况下的、1、2范数球和范数锥是什么样子的?
  4. 多面体 Polyhedra
    多面体实际上就是有限个线性不等式方程组AxbAx\preceq b和等式方程组Cx=dCx=d对应的超平面和半空间的交集。
    在这里插入图片描述
  5. 半正定锥 Positive Semidefinitive Cone
    半正定锥可能几何理解上有点难。我们仍然先给出定义。
    半正定锥:S+n={XSnX0}S_+^n=\{X\in S^n|X\succeq 0\} S是对称方阵的意思
    性质:XS+nzTXz0 for all zX\in S^n_+\Leftrightarrow z^TXz\geq0\ for \ all\ z
    相应的,正定锥就是广义大于0,没有等于。

保凸运算

  1. 定义 by definition
    通过定义,我们可以验证一个集合是否为凸集。
  2. 交集 intersection
    任意个凸集的交集也必为凸集。这里给出一个经典的例子。
    在这里插入图片描述
  3. 仿射函数 affine functions
    在这里插入图片描述
  4. 透视函数 perspective function
    在这里插入图片描述
  5. 线性分式函数 linear-fractional functions
    在这里插入图片描述

广义不等式

(上一节偷懒了,直接放PPT,嘿嘿嘿)
广义不等式是定义于正常锥上的,那么什么是正常锥呢?
一个凸锥是正常锥,当它满足:
1)闭合(包括边界)
2)非空(内部非空)
3)有向(不包含直线)
例如,二维平面(n维一样)上的第一象限(包含xy正半轴),正定锥都是正常锥。
在这里插入图片描述
广义不等式可能不太好理解,不过我们依然可以通过举例子来理解,比如二维三维的情况,或者自己设一个矩阵。
广义不等式的重要性主要体现在帮助我们理解最小值和极小值上。
在这里插入图片描述
没错,从集合上来看,极小值和最小值这里不太好理解,不过相信简单直观从函数层面,大家就能很容易地理解了。

分割超平面与支撑超平面

这里感觉没什么好说的,支撑超平面,超平面分离,一目了然。
在这里插入图片描述
在这里插入图片描述

对偶锥与广义不等式

对偶锥这里需要大家好好理解以下,依然,我们可以考虑二维情况作图加深理解。这个主要是后面拉格朗日对偶问题上会有用到。
在这里插入图片描述
在这里插入图片描述

后面这部分直接截图了,主要是都是定义,实在也没有什么好分享的。。。偶有一些想法也记录上了,后面更深入地方再做仔细分享吧。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!