马尔可夫

一、问题描述 二、第一组公式推导 三、回报公式的定义 四、策略和价值函数 五、第二组公式推导 六、最优策略和最优价值函数 七、第三组公式推导 八、贝尔曼最优方程 九、求解贝尔曼最优方程 对于有限MDP来说，贝尔曼最优方程实际上是一个方程组，每个方程对应一个方程等式。也就是说，如果有n个状态，那么有n个含有n个未知量的方程。 来源： CSDN 作者： azago 链接： https://blog.csdn.net/cjm083121/article/details/104553028

Atitit 语音识别的技术原理 1.1. 语音识别技术，也被称为 自动语音识别 Automatic Speech Recognition ， (ASR) ， 2 1.2. 模型 目前，主流的大词汇量语音识别系统多采用统计 模式识别技术 2 1.3. 基本方法 般来说 , 语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法。 2 1.3.1. 模板匹配的方法 2 1.4. 一般来说 , 语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法。 2 1.5. 提及 语音识别 ，就不能不说 Nuance， Nuance的语音技术是以统计推断方法为基础，着眼于音素（音节的声音）和语境来识别话语 2 1.6. ， 神经网络 。 这种技术可使得精确度提升 25%以上，这是一个巨大的飞跃，因为这个行业只需要提升5%就具备革命意义 3 1.7. 语音信号预处理与特征提取 3 1.7.1. 基于语音学和声学的方法 3 1.8. PCM 文件，也就是俗称的 wav 文件。 4 1.9. VAD 静音切除 4 1.10. 要对声音进行分析，需要对声音分帧，也就是把声音切开成一小段一小段，每小段称为一帧。 4 1.11. 一个完整的基于统计的语音识别系统可大致分为三部分： 5 1.12. MFCC 特征 特征主要用

文章目录 8. 命名实体识别 8.1 概述 8.2 基于隐马尔可夫模型序列标注的命名实体识别 8.3 基于感知机序列标注的命名实体识别 8.4 基于条件随机场序列标注的命名实体识别 8.5 命名实体识别标准化评测 8.6 自定义领域命名实体识别 8.7 GitHub 笔记转载于GitHub项目 ： https://github.com/NLP-LOVE/Introduction-NLP 8. 命名实体识别 8.1 概述 命名实体 文本中有一些描述实体的词汇。比如人名、地名、组织机构名、股票基金、医学术语等，称为 命名实体 。具有以下共性: 数量无穷。比如宇宙中的恒星命名、新生儿的命名不断出现新组合。 构词灵活。比如中国工商银行，既可以称为工商银行，也可以简称工行。 类别模糊。有一些地名本身就是机构名，比如“国家博物馆” 命名实体识别 识别出句子中命名实体的边界与类别的任务称为 命名实体识别 。由于上述难点，命名实体识别也是一个统计为主、规则为辅的任务。 对于规则性较强的命名实体，比如网址、E-mail、IBSN、商品编号等，完全可以通过正则表达式处理，未匹配上的片段交给统计模型处理。 命名实体识别也可以转化为一个序列标注问题。具体做法是将命名实体识别附着到{B,M,E,S}标签，比如， 构成地名的单词标注为“B/ME/S- 地名”，以此类推。对于那些命名实体边界之外的单词

隐马尔可夫模型(Hidden Markov model, HMM)是一种结构最简单的动态贝叶斯网的生成模型，它也是一种著名的有向图模型。它是典型的自然语言中处理标注问题的统计机器学模型，本文将重点介绍这种经典的机器学习模型。 转载链接： https://mp.weixin.qq.com/s?src=11&timestamp=1580378766&ver=2128&signature=id557IJtuCw7XYAqKzyjaqPMD2B88eVFQXaFhx2lZw3QnWFB NQjXJF8fcOVsomhyf5qL 81QZO0SbN8mwLWNn2sayM-0r s8uj7Q64aI7RtpULW d1L-je4qHKpiS55&new=1 “ 摇骰子问题 ” —— 经典 1. 引言 假设有三个不同的骰子(6面、4面、8面)，每次先从三个骰子里面选择一个，每个骰子选中的概率为1/3，如下图所示，重复上述过程，得到一串数值[1,6,3,5,2,7]。这些 可观测变量组成可观测状态链 。同时，在隐马尔可夫模型中还有一条由 隐变量组成的隐含状态链 ，在本例中即 骰子的序列 。比如得到这串数字骰子的序列可能为[D6, D8, D8, D6, D4, D8]。 隐马尔可夫型示意图如下所示： 图中，箭头表示变量之间的依赖关系。图中各箭头的说明如下： 在任意时刻， 观测变量 (骰子)

　　早在前几个月我在台湾的时候，就听说《数学之美》是一本非常不错的书，也正好是我喜欢的类型，一直想买。回到北京之后的第一件事就是把我这半年积攒的书单全部兑现，其中包括《数学之美》和《浪潮之巅》。看了之后大叫过瘾，让我好好享受了一回数学之美。 文字和数字的起源 很久以前人类以不同的叫声表示不同的信息，达到彼此交流的目的，当所要表达的信息太多时，叫声已经不够用了，于是文字产生了。 文字：知道“ 罗塞塔 ”石碑的典故。 信息冗余的重要性：当石碑经历风吹日晒，一部分文字被腐蚀掉时，还有另一部分重复的文字作为备份，可以还原石碑的信息。类似的还有人体的DNA，在人体当中，有99%的DNA是无效的，正是这99%保证了人类的正常繁衍，当遇人类遇到辐射时，DNA发生变异的概率是1%. 数字：进制的产生 为了表达大数，不同的文明产生了不同的数字表示方法，最终只有使用10进制的文明生存了下来。 10进制：古中国、古印度、阿拉伯 12进制：印度、斯里兰卡 20进制：玛雅，玛雅文明失败的原因之一就是进制太复杂，不利于科学进步，咱们现在要背九九乘法表，他们背的是361路围棋棋盘。 单位进制：罗马（5、10、50、100、500、1000） 数字的表示方法（编解码原理） 中国：编解码的密钥是乘除 二百万 = 2 x 100 x 10000 罗马： 编解码的密钥是加减 IV = 5-1 = 4 ,

机器学习-隐马尔科夫模型 https://zhuanlan.zhihu.com/p/94019054 隐马尔科夫模型 1 基本概念 状态序列（state sequence）：隐藏的马尔可夫随机链生成的状态序列，不可观测 观测序列（observation sequence）：每个状态生成一个观测，由此产生观测的随机序列 隐马尔科夫模型的三要素： 状态转移概率矩阵： ， 为所有可能的状态数 观测概率矩阵： ， 为所有的观测的集合 初始状态概率向量： ，其中， 隐马尔可夫模型的表示： 隐马尔科夫模型的两个基本假设： 齐次马尔可夫假设： 假设隐藏的马尔可夫链在 任意时刻 的状态 只依赖于其前一时刻的状态 与其他时刻的状态 及观测无关 也与时刻 无关 观测独立性假设： 假设 任意时刻 的观测 只依赖于该时刻的马尔可夫链的状态 与其他观测 及状态无关 隐马尔科夫模型的三个基本问题： 概率计算问题：在模型 下观测序列 出现的概率 输入：模型 ，观测序列 输出： 学习问题：已知观测序列 ，估计模型 的参数，使观测序列概率 最大，用极大似然法估计 输入：观测序列 输出：输出 预测问题，也称为解码问题(Decoding) 输入：模型 ，观测序列 输出：状态序列 标注问题，给定观测的序列预测对应的标记序列。状态对应着标记。 2 概率计算问题 2.1 直接计算法 列举所有的可能状态序列 ，长度为 计算：

https://zh.wikipedia.org/wiki/%E9%A6%AC%E5%8F%AF%E5%A4%AB%E6%B1%BA%E7%AD%96%E9%81%8E%E7%A8%8B 在 概率论 和 统计学 中， 马尔可夫决策过程 （英语：Markov Decision Processes，缩写为 MDPs）提供了一个数学架构模型，用于面对部分随机，部分可由决策者控制的状态下，如何进行 决策 ，以俄罗斯数学家 安德雷·马尔可夫 的名字命名。 在经由 动态规划 与 强化学习 以解决 最优化问题 的研究领域中，马尔可夫决策过程是一个有用的工具。 马尔可夫过程在概率论和统计学方面皆有影响。一个通过不相关的自变量定义的随机过程，并（从数学上）体现出 马尔可夫性质 ，以具有此性质为依据可推断出任何马尔可夫过程。实际应用中更为重要的是，使用具有马尔可夫性质这个假设来建立模型。在建模领域，具有马尔可夫性质的假设是向随机过程模型中引入统计相关性的同时，当分支增多时，允许相关性下降的少有几种简单的方式。 来源： CSDN 作者： born-in-freedom 链接： https://blog.csdn.net/bornfree5511/article/details/103814828

本篇文章对隐马尔可夫模型的前向和后向算法进行了Python实现，并且每种算法都给出了循环和递归两种方式的实现。 文章目录 前向算法Python实现 循环方式 递归方式 后向算法Python实现 循环方式 递归方式 前向算法Python实现 循环方式 import numpy as np def hmm_forward ( Q , V , A , B , pi , T , O , p ) : """ :param Q: 状态集合 :param V: 观测集合 :param A: 状态转移概率矩阵 :param B: 观测概率矩阵 :param pi: 初始概率分布 :param T: 观测序列和状态序列的长度 :param O: 观测序列 :param p: 存储各个状态的前向概率的列表，初始为空 """ for t in range ( T ) : # 计算初值 if t == 0 : for i in range ( len ( Q ) ) : p . append ( pi [ i ] * B [ i , V [ O [ 0 ] ] ] ) # 初值计算完毕后，进行下一时刻的递推运算 else : alpha_t_ = 0 alpha_t_t = [ ] for i in range ( len ( Q ) ) : for j in range ( len ( Q ) ) :

机器不学习 jqbxx.com -机器学习好网站 命名实体识别（Named Entity Recognition，NER）就是从一段自然语言文本中找出相关实体，并标注出其位置以及类型，如下图。命名实体识别是NLP领域中的一些复杂任务的基础问题，诸如自动问答，关系抽取，信息检索等 ，其效果直接影响后续处理的效果，因此是NLP研究的一个基础问题。 NER一直是NLP领域中的研究热点，现在越来越多的被应用于专业的领域，如医疗、生物等。这类行业往往具有大量的专业名词，名词与名词之间相互之间存在着不同种类的关系。NER的研究从一开始的基于词典和规则的方法，基于统计机器学习的方法，到近年来基于深度学习的方法，NER研究的进展趋势如下图所示。 基于统计机器学习的方法主要包括:隐马尔可夫模型(HiddenMarkovModel HMM)、最大熵(MaxmiumEntropy,ME)、支持向量机(Support VectorMachine,SVM)、条件随机场( Conditional Random Fields,CRF)等。 隐马尔可夫模型（HMM）主要利用Viterbi算法求解命名实体类别序列，在训练和识别时的效率较高且速度较快。隐马尔可夫模型适用于一些对实时性有要求以及像信息检索这样需要处理大量文本的应用,如短文本命名实体识别。 最大熵模型（ME）结构紧凑,具有较好的通用性

概率知识点： 0=<P(A)<=1 P(True)=1;P(False)=0 P(A)+P(B)-P(A and B) = P(A or B) P(A|B)=P(A,B)/P(B) => P(A,B)=P(A|B)P(B) =>P(A,B,C) = P(A|B,C)P(B|C)P(C) 如果A,B 相互独立，P(A,B) = P(A)P(B) =>P(A|B)=P(A) 朴素贝叶斯 ： P(y=1|x1,x2,……xn)=P(x1,……xn|y=1)p(y=1)/p(x1,……xn) 马尔可夫模型： X1->X2->X3->X4-----> P(X1,……Xn)=P(X1)P(X2|X1)……P(Xn|Xn-1) 马尔可夫矩阵具有无记 X1->X2->X3 | | | Y1 Y2　　Y3 目标函数： P(Xt|Y1:t) = P(Xt|Y1……Yt) 来源： https://www.cnblogs.com/yangyang12138/p/12038002.html