在分类问题中,要用什么样的函数来表示我们的假设呢?此前说过,希望我们的分类器的输出值在0 和1 之间,因
此,我们希望想出一个满足某个性质的假设函数,这个性质是它的预测值要在0 和1 之间。
回顾在一开始提到的乳腺癌分类问题,我们可以用线性回归的方法求出适合数据的一条
直线:
根据线性回归模型我们只能预测连续的值,然而对于分类问题,我们需要输出0 或1,
我们可以预测:
当ℎ𝜃(𝑥) >= 0.5时,预测 𝑦 = 1。
当ℎ𝜃(𝑥) < 0.5时,预测 𝑦 = 0 。
对于上图所示的数据,这样的一个线性模型似乎能很好地完成分类任务。
假使我们又观测到一个非常大尺寸的恶性肿瘤,将其作为实例加入到我们的训练集中来,这将使得我们获
得一条新的直线。这时,再使用0.5 作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出,线性回
归模型,因为其预测的值可以超越[0,1]的范围,并不适合解决这样的问题。
我们引入一个新的模型,逻辑回归,该模型的输出变量范围始终在0 和1 之间。 逻辑
回归模型的假设是: ℎ𝜃 (𝑥) = 𝑔(𝜃𝑇𝑋) 其中: 𝑋 代表特征向量 𝑔 代表逻辑函数是一个常用的逻辑函数为S 形函数(Sigmoid function),公式为:
该函数的图像为:
合起来,我们得到逻辑回归模型的假设:
对模型的理解:
ℎ𝜃 (𝑥)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1 的可能性
(estimated probablity)即ℎ𝜃(𝑥) = 𝑃(𝑦 = 1|𝑥; 𝜃)
例如,如果对于给定的𝑥,通过已经确定的参数计算得出ℎ𝜃 (𝑥) = 0.7,则表示有70%的
几率𝑦为正向类,相应地𝑦为负向类的几率为1-0.7=0.3。
来源:oschina
链接:https://my.oschina.net/u/4307735/blog/3647524