logistic模型

机器学习之三:logistic回归(最优化)

混江龙づ霸主 提交于 2020-03-12 04:53:10
  一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。如果非要应用进入,可以使用logistic回归。 logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下,线性回归假设函数只是 。 logistic回归用来分类0/1问题,也就是预测结果属于0或者1的二值分类问题。这里假设了二值满足伯努利分布,也就是 当然假设它满足泊松分布、指数分布等等也可以,只是比较复杂,后面会提到线性回归的一般形式。 求最大似然估计,然后求导,得到迭代公式结果为 可以看到与线性回归类似,只是 换成了 ,而 实际上就是 经过g(z)映射过来的。 Logistic 回归:实际上属于判别分析,因拥有很差的判别效率而不常用。 1. 应用范围: ① 适用于流行病学资料的危险因素分析 ② 实验室中药物的剂量 - 反应关系 ③ 临床试验评价 ④ 疾病的预后因素分析 2. Logistic 回归的分类: ① 按因变量的资料类型分: 二分类 多分类 其中二分较为常用 ② 按研究方法分: 条 件 Logistic 回归 非条件 Logistic 回归 两者针对的资料类型不一样,后者针对成组研究,前者针对配对或配伍研究。 3.L ogistic

Logistic Regression原理

佐手、 提交于 2020-01-15 07:13:43
快速理解Logistic Regression,关键是掌握模型函数,损失函数或目标函数 首先看模型函数 最终训练出来的模型如下,其中 表示预测值, 表示输入的特征值,后面提到的 为真实值, 和 就是模型需要学习的参数,接下来,看一下模型学习的过程 模型的损失函数为 模型的训练过程就是对L的最小化过程,也即是对 和 更新的过程,也即是梯度下降的过程,关于为什么使用梯度下降法求最小值而不是直接令导数等于0的问题可以参考博客 https://blog.csdn.net/qq_41800366/article/details/86600893 其中 、 和 都是常数值,也即是每一次只需要求 就行,然每一次迭代,都是 的过程 来源: CSDN 作者: 鱼只 链接: https://blog.csdn.net/heatrain/article/details/103965202