对数几率回归不是回归,是分类。
1.对数几率回归的形式 由线性回归的y=WX转化为 y_pre=sigmoid(WX)即是对数几率回归
2.对数几率回归的名字来由(对数几率优化的本质):
2.1由于上述1中的优化目标是希望预测y_pre=即sigmoid(WX)尽可能等于分类标记y
2.2由sigmoid函数可以得到,即希望WX尽可能等于ln(y/(1-y))。
2.3由于预测目标y为1时是正例,y为0时是负例,因此y的值可以视为样本为正例的概率,同时1-y即可以视为样本为负例的概率。
2.4另y/(1-y)即正例概率与负例概率的比值(一个相对概率),通常称为几率,而ln(y/(1-y))则称为对数几率概率
综合2.2、2.4说明对数几率回归的目标是使WX尽可能等于对数几率,这就是对数几率回归名字的来由。
3.如何进行具体的最优化
3.1对于任意样本,预测值为正例的概率为sigmoid(WX),预测值为负例的概率为1-sigmoid(WX)
3.2我们希望对于正例,我们希望最大化预测值为正例的概率sigmoid(WX),对于负例,我们希望最大化预测值为负例的概率1-sigmoid(WX),综合我们希望最大化 Z=y*sigmoid(WX)+(1-y)*(1-sigmoid(WX)).也可以写成y*y_pre+(1-y)*(1-y_pre)
3.3通过梯度下降法和牛顿法可以进行基于该损失函数的优化
注:3.2中的损失函数也可以使用其他损失函数如mae、mse代替。即Z=mse(y,y_pre)
来源:CSDN
作者:appron
链接:https://blog.csdn.net/pingguolou/article/details/103246243