马尔可夫模型

https://zh.wikipedia.org/wiki/%E9%A6%AC%E5%8F%AF%E5%A4%AB%E6%B1%BA%E7%AD%96%E9%81%8E%E7%A8%8B 在 概率论 和 统计学 中， 马尔可夫决策过程 （英语：Markov Decision Processes，缩写为 MDPs）提供了一个数学架构模型，用于面对部分随机，部分可由决策者控制的状态下，如何进行 决策 ，以俄罗斯数学家 安德雷·马尔可夫 的名字命名。 在经由 动态规划 与 强化学习 以解决 最优化问题 的研究领域中，马尔可夫决策过程是一个有用的工具。 马尔可夫过程在概率论和统计学方面皆有影响。一个通过不相关的自变量定义的随机过程，并（从数学上）体现出 马尔可夫性质 ，以具有此性质为依据可推断出任何马尔可夫过程。实际应用中更为重要的是，使用具有马尔可夫性质这个假设来建立模型。在建模领域，具有马尔可夫性质的假设是向随机过程模型中引入统计相关性的同时，当分支增多时，允许相关性下降的少有几种简单的方式。 来源： CSDN 作者： born-in-freedom 链接： https://blog.csdn.net/bornfree5511/article/details/103814828

概率知识点： 0=<P(A)<=1 P(True)=1;P(False)=0 P(A)+P(B)-P(A and B) = P(A or B) P(A|B)=P(A,B)/P(B) => P(A,B)=P(A|B)P(B) =>P(A,B,C) = P(A|B,C)P(B|C)P(C) 如果A,B 相互独立，P(A,B) = P(A)P(B) =>P(A|B)=P(A) 朴素贝叶斯 ： P(y=1|x1,x2,……xn)=P(x1,……xn|y=1)p(y=1)/p(x1,……xn) 马尔可夫模型： X1->X2->X3->X4-----> P(X1,……Xn)=P(X1)P(X2|X1)……P(Xn|Xn-1) 马尔可夫矩阵具有无记 X1->X2->X3 | | | Y1 Y2　　Y3 目标函数： P(Xt|Y1:t) = P(Xt|Y1……Yt) 来源： https://www.cnblogs.com/yangyang12138/p/12038002.html

1. 马尔科夫模型 1.1马尔可夫过程 马尔可夫过程（ Markov process ）是一类 随机过程 。它的原始模型 马尔可夫链 ，由俄国数学家 A.A. 马尔可夫 于 1907 年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成 —— 马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的 布朗运动 、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。 在马尔可夫性的定义中， " 现在 " 是指固定的时刻，但实际问题中常需把马尔可夫性中的 “ 现在 ” 这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ 以前的事件和以后的事件的条件独立性，这里 τ 为停时，并且认为 τ 是 “ 现在 ” 。如果把 “ 现在 ” 推广为停时情形的 “ 现在 ” ，在已知 “ 现在 ” 的条件下， “ 将来 ” 与 “ 过去 ” 无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是 J.L. 杜布 。直到 1956 年，才有人找到马尔可夫过程不是强马尔可夫过程的例子

马尔可夫过程 马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。 每个状态的转移只依赖于之前的n个状态，这个过程被称为1个n阶的模型，其中n是影响转移状态的数目。最简单的马尔可夫过程就是一阶过程， 每一个状态的转移只依赖于其之前的那一个状态 ，这个也叫作 马尔可夫性质 。用数学表达式表示就是下面的样子： 假设这个模型的每个状态都只依赖于之前的状态，这个假设被称为 马尔科夫假设 ，这个假设可以大大的简化这个问题。显然，这个假设可能是一个非常糟糕的假设，导致很多重要的信息都丢失了。 将随机变量作为结点，若两个随机变量相关或者不独立，则将二者连接一条边；若给定若干随机变量，则形成一个有向图，即构成一个 网络 。 如果该网络是有向无环图，则这个网络称为 贝叶斯网络。 如果这个图退化成线性链的方式，则得到 马尔可夫模型 ；因为每个结点都是随机变量，将其看成各个时刻(或空间)的相关变化，以随机过程的视角，则可以看成是 马尔可夫过程 。