机器学习之三:logistic回归(最优化)
一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。如果非要应用进入,可以使用logistic回归。 logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下,线性回归假设函数只是 。 logistic回归用来分类0/1问题,也就是预测结果属于0或者1的二值分类问题。这里假设了二值满足伯努利分布,也就是 当然假设它满足泊松分布、指数分布等等也可以,只是比较复杂,后面会提到线性回归的一般形式。 求最大似然估计,然后求导,得到迭代公式结果为 可以看到与线性回归类似,只是 换成了 ,而 实际上就是 经过g(z)映射过来的。 Logistic 回归:实际上属于判别分析,因拥有很差的判别效率而不常用。 1. 应用范围: ① 适用于流行病学资料的危险因素分析 ② 实验室中药物的剂量 - 反应关系 ③ 临床试验评价 ④ 疾病的预后因素分析 2. Logistic 回归的分类: ① 按因变量的资料类型分: 二分类 多分类 其中二分较为常用 ② 按研究方法分: 条 件 Logistic 回归 非条件 Logistic 回归 两者针对的资料类型不一样,后者针对成组研究,前者针对配对或配伍研究。 3.L ogistic