机器学习之贝叶斯算法
一、贝叶斯简介 贝叶斯(约1701-1761) Thomas Bayes，英国数学家，贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，生不逢时，死后它的作品才被世人认可。 贝叶斯要解决的问题： 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大？ 逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。 现实世界有很多问题本身就是不确定的（比如上面的逆向概率，不确定球的个数），而人类的观察能力是有局限性的，由于我们日常所观察到的只是事物表面上的结果（比如上面的逆向概率，观察取出来的球的颜色），因此我们需要提供一个猜测来得到袋子里面球的比例。 二、贝叶斯推导过程 首先引入一个栗子，假设在一个学校里面男生的概率和女生的概率分别是60%和40%，男生总是穿长裤，女生则一半穿长裤一半穿裙子。 正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？这个比例的计算就比较简单了。 逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？这就是我们要解决的问题。 假设学校里面人的总数是 U 个