决策边界

贝叶斯推断之最大后验概率(MAP)

主宰稳场 提交于 2020-04-09 11:38:54
贝叶斯推断之最大后验概率(MAP) 本文详细记录贝叶斯后验概率分布的数学原理,基于贝叶斯后验概率实现一个二分类问题,谈谈我对贝叶斯推断的理解。 1. 二分类问题 给定N个样本的数据集,用 \(X\) 来表示,每个样本 \(x_n\) 有两个属性,最终属于某个分类 \(t\) $t=\left\{0,1\right\}$ $\mathbf{x_n}=\begin{pmatrix}x_{n1} \\ x_{n2} \\ \end{pmatrix}$, 假设模型参数$w=\begin{pmatrix} w_1 \\ w_2\end{pmatrix}$ $\mathbf{X}=\begin{bmatrix} x_1^T \\ x_2^T \\. \\. \\ x_n^T\end{bmatrix}$ 将样本集用用图画出来如下: 根据贝叶斯公式有: \[p(w|t,X)=\frac {p(t|X,w)p(w)} {p(t|X)} \] (公式1) \(p(w | t,X)\) 告诉我们:在已知训练样本集 \(X\) 以及这些样本的某个分类 \(t\) (这是一个监督学习,因为我们已经有了样本集 \(X\) 、以及样本集中每个样本所属的分类 \(t\) ),需要求解模型参数 \(w\) 。因此, \(w\) 是未知的,是需要根据样本通过贝叶斯概率公式来进行求解的。求得了 \(p(w|t,X)\)