机器学习之对数几率回归理解

拜拜、爱过 提交于 2019-11-30 07:32:50

对数几率回归不是回归,是分类。

1.对数几率回归的形式  由线性回归的y=WX转化为  y_pre=sigmoid(WX)即是对数几率回归

2.对数几率回归的名字来由(对数几率优化的本质):

    2.1由于上述1中的优化目标是希望预测y_pre=即sigmoid(WX)尽可能等于分类标记y

    2.2由sigmoid函数可以得到,即希望WX尽可能等于ln(y/(1-y))。

    2.3由于预测目标y为1时是正例,y为0时是负例,因此y的值可以视为样本为正例的概率,同时1-y即可以视为样本为负例的概率。

    2.4另y/(1-y)即正例概率与负例概率的比值(一个相对概率),通常称为几率,而ln(y/(1-y))则称为对数几率概率

    综合2.2、2.4说明对数几率回归的目标是使WX尽可能等于对数几率,这就是对数几率回归名字的来由。

3.如何进行具体的最优化

    3.1对于任意样本,预测值为正例的概率为sigmoid(WX),预测值为负例的概率为1-sigmoid(WX)

    3.2我们希望对于正例,我们希望最大化预测值为正例的概率sigmoid(WX),对于负例,我们希望最大化预测值为负例的概率1-sigmoid(WX),综合我们希望最大化 Z=y*sigmoid(WX)+(1-y)*(1-sigmoid(WX)).也可以写成y*y_pre+(1-y)*(1-y_pre)

    3.3通过梯度下降法和牛顿法可以进行基于该损失函数的优化

注:3.2中的损失函数也可以使用其他损失函数如mae、mse代替。即Z=mse(y,y_pre)

   

    

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!