判断目标函数的凹凸性
1 梯度法 就是直接对目标函数进行计算，然后判断其是否凸。具体地，就是计算目标函数的一阶导数和二阶导数。然后作出判断。 凸函数的一阶充要条件 等号右边是对函数在x点的一阶近似。这个条件的意义是，对于函数在定义域的任意取值，函数的值都大于或者等于对函数在这点的一阶近似。用图来说明就是： 通过图可以很清楚地理解这个充要条件，但是，具体在应用中，我们不可能对每一个点都去计算函数的一阶导数吧，因此下面这个充要条件更加实用。 凸函数的二阶充要条件 很简单，如果一个函数的二阶导数大于等于零，那么这个函数就是凸函数。图就不上了，很好理解，函数的一阶导数具有递增性，那么函数本身就是凸函数。 通过暴力计算法，可以很快地判断函数是不是凸函数。凹函数同理。 2 结构分析法 有时候我们不必通过暴力计算，可以通过分析目标函数的结构，就能在一些情况下判断函数是否是凸函数。下面给出一些结论： 指数函数是凸函数； 对数函数是凹函数，然后负对数函数就是凸函数； 对于一个凸函数进行仿射变换，可以理解为线性变换，结果还是凸函数； 二次函数是凸函数（二次项系数为正）； 高斯分布函数是凹函数； 多个凸函数的线性加权，如果权值是大于等于零的，那么整个加权结果函数是凸函数。 下面出一道题目：如何判断最大似然函数一定有最大值？ 思路：最大似然函数是求最大值，那么函数必须是凹函数。就拿我们常用的对数似然函数