朴素贝叶斯

朴素贝叶斯 分类算法、生成算法 假设用于分类的特征在类确定的条件都是条件独立的。 模型 P ( Y = C k ∣ X = x ) = P ( Y = C k ) ∏ j P ( X ( j ) = x ( j ) ∣ y = C k ) ∑ k P ( Y = C k ) ∏ j P ( X ( j ) = x ( j ) ∣ y = C k ) , k = 1 , 2 , ⋯   , K P(Y=C_k|X=x) = \frac {P(Y=C_k)\prod_jP(X^{(j)}=x^{(j)}|y=C_k)}{\sum_k P(Y=C_k)\prod_jP(X^{(j)}=x^{(j)}|y=C_k)}, k=1,2,\cdots,K P ( Y = C k ​ ∣ X = x ) = ∑ k ​ P ( Y = C k ​ ) ∏ j ​ P ( X ( j ) = x ( j ) ∣ y = C k ​ ) P ( Y = C k ​ ) ∏ j ​ P ( X ( j ) = x ( j ) ∣ y = C k ​ ) ​ , k = 1 , 2 , ⋯ , K 策略 使后验概率最大化 算法 最大似然估计 贝叶斯估计 来源： CSDN 作者： windmissing 链接： https://blog.csdn.net/mishifangxiangdefeng

基本假设为： 预测公式为： 所以从这个公式看得出，需要对类别概率和条件概率进行统计，最终选择后验概率最大的作为输出，因为对于所有的类别，分母部分是相同的，所以最终公式为分子取最大的类别： 平滑的本质： 平滑的本质是对训练数据集中那些概率为0的统计量分配一个基本的不为0的概率。 来源： CSDN 作者： 厉害了我的汤 链接： https://blog.csdn.net/YD_2016/article/details/104039062

看的头秃，生活艰难 由条件概率可得，P(wi | x） = P(wi, x) / P(x) 套贝叶斯公式得，P(wi | x) = P(x | wi) * P(wi) / P(x) 通过比较P(wi | x)的大小决定分为哪一类中，由于分母相同，所以转化为比较P(x | wi) * P(wi) 的大小， P(wi)表示分类为wi分类的概率， P(x | wi)表示x在wi分类下的概率，以单词组向量为例，假设单词组向量中的每个单词都是相互独立的，那么总的概率等于各个部分概率相乘，统计每个单词在wi分类下出现的次数 / wi分类中每篇出现的单词总数，然后相乘。（这种方法好像叫做拉普拉斯平滑） 由于相互独立后如果单词没有出现最终得到的概率为0，所以将概率相乘转化为概率相加，对数字去对数，同样有单调性，同时防止特征过多而造成数据相乘越来越小，最后为0的情况，同样也是用对数处理的方法，同时给分母加底数 参考资料 1、《机器学习实战》 2、 https://www.cnblogs.com/lliuye/p/9178090.html 来源： https://www.cnblogs.com/lalalatianlalu/p/11332435.html