最大似然估计、最大后验概率估计、贝叶斯公式的理解

别来无恙 提交于 2019-12-23 03:13:04

概率和统计是同一个东西吗?

概率:已知模型和参数,求数据

统计:已知数据,求模型和参数

贝叶斯公式在说什么?

公式里括号后面一项才是

条件概率:

贝叶斯公式:

贝叶斯公式:

理解:有多重情况可能导致事件B发生,现在事件B已经发生了,要求出由于事件A导致事件B发生的可能性大小。

似然函数

概率:在参数theta时  变量x发生的概率有多大

似然:变量x已经发生了,参数等于theta时的似然是多少

一个是关于x的函数、一个是关于theta的函数

常说的概率是指给定参数后,预测即将发生的事件的可能性。

而似然概率正好与这个过程相反,我们关注的量不再是事件的发生概率,而是已知发生了某些事件,我们希望知道参数应该是多少。

最大似然估计,就是在已知观测的数据的前提下,找到使得似然概率最大的参数值。

先验概率后验概率

1)先验:统计历史上的经验而知当下发生的概率;

2)后验:当下条件由因及果的概率;

例子:

1)先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;

2)似然——下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述;

3)后验——根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率;

最大似然估计与最大后验概率估计

最大似然估计:最大化关于theta的函数

最大后验概率估计:

参考:

详解最大似然估计最大后验概率以及贝叶斯估计

从最大似然到EM算法

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!