概率计算

转载： 语音识别系统结构——鸟瞰 语音识别概述 语音识别是指将语音信号转换为文字的过程。现在通行的语音识别系统框架如图： 信号处理模块将根据人耳的听觉感知特点，抽取语音中最重要的特征，将语音信号转换为特征矢量序列。现行语音识别系统中常用的声学特征有线性预测编码（Linear Predictive Coding，LPC），梅尔频率倒谱系数（Mel-frequency Cepstrum Coefficients，MFCC），梅尔标度滤波器组（Mel-scale Filter Bank，FBank）等。 解码器（Decoder）根据声学模型和语言模型，将输入的语音特征矢量序列转化为字符序列。 声学模型是对声学、语音学、环境的变量，以及说话人性别、口音的差异等的知识表示。语言模型则是对一组字序列构成的知识表示。 模型的训练 现代的语音识别系统中声学模型和语言模型主要利用大量语料进行统计分析，进而建模得到。 声学模型 语音识别中的声学模型充分利用了声学、语音学、环境特性以及说话人性别口音等信息，对语音进行建模。目前的语音识别系统往往采用隐含马尔科夫模型（Hidden Markov Model，HMM）建模，表示某一语音特征矢量序列对某一状态序列的后验概率。隐含马尔科夫模型是一种概率图模型，可以用来表示序列之间的相关关系，常常被用来对时序数据建模。 隐含马尔科夫模型是一种带权有向图

5.系统风险评估的应用 5.1 压力测试金融网络 我们现在使用我们的方法进行压力测试。我们假设除了L的行和、列和外，我们还观察到外部资产 a ( e ) ∈ [ 0 , ∞ ) n a^{(e)}\in [0,\infty)^n a ( e ) ∈ [ 0 , ∞ ) n 和对银行间网络以外实体的负债 l ( e ) ∈ [ 0 , ∞ ) n l(e)\in [0,\infty)^n l ( e ) ∈ [ 0 , ∞ ) n 。表1显示了基于此的简单资产负债表。 总负债向量为 l a l l = l ( e ) + r ( L ) ∈ R n l^{all}=l^{(e)}+r(L)\in R^n l a l l = l ( e ) + r ( L ) ∈ R n ，净资产向量为 w = w ( l , a ( e ) , l ( e ) ) = a ( e ) + c ( L ) − l a l l w=w(l,a^{(e)},l^{(e)})=a^{(e)}+c^{(L)}-l^{all} w = w ( l , a ( e ) , l ( e ) ) = a ( e ) + c ( L ) − l a l l 。如果 w i ≥ 0 w_i\geq 0 w i ​ ≥ 0 ，净值对应于银行 i i i 权益的账面价值。 确定性的比例冲击是由 s ∈ [ 0 , 1 ] n

转载 http://blog.sciencenet.cn/blog-324394-292355.html 蒙特卡罗(Monte Carlo)方法，也称为计算机随机模拟方法，是一种基于"随机数"的计算方法。 1、起源 这一方法源于美国在第二次世界大战进研制原子弹的"曼哈顿计划"。Monte Carlo方法创始人主要是这四位：Stanislaw Marcin Ulam, Enrico Fermi, John von Neumann（学计算机的肯定都认识这个牛人吧）和 Nicholas Metropolis。 蒙特卡罗方法的名字来源于摩纳哥的一个城市蒙地卡罗，该城市以赌博业闻名，而蒙特·罗方法正是以概率为基础的方法。与它对应的是确定性算法。 2、解决问题的基本思路 Monte Carlo方法的基本思想很早以前就被人们所发现和利用。早在17世纪，人们就知道用事件发生的"频率"来决定事件的"概率"。19世纪人们用投针试验的方法来决定圆周率π。本世纪40年代电子计算机的出现，特别是近年来高速电子计算机的出现，使得用数学方法在计算机上大量、快速地模拟这样的试验成为可能。 为了说明Monte Carlo方法的基本思想，让我们先来看一个简单的例子，从此例中你可以感受如何用Monte Carlo方法考虑问题。 例1:比如y=x^2(对x)从0积到1。结果就是下图红色部分的面积： 注意到函数在(1,1

1.语言模型 语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看做一段离散的时间序列。假设一段长度为T的文本中的词依次为 w 1 , w 2 , . . . , w T w_1,w_2,...,w_T w 1 ​ , w 2 ​ , . . . , w T ​ ，那么在离散的时间序列中， w t ( 1 ≤ t ≤ T ) w_t(1\leq t\leq T) w t ​ ( 1 ≤ t ≤ T ) 可看做在时间步t的输出或者标签。给定一个长度为T的词的序列 w 1 , w 2 , . . . , w T w_1,w_2,...,w_T w 1 ​ , w 2 ​ , . . . , w T ​ ，语言模型将计算该序列的概率： P ( w 1 , w 2 , . . . , w T ) P(w_1,w_2,...,w_T) P ( w 1 ​ , w 2 ​ , . . . , w T ​ ) 语言模型可用于提升语言识别和机器翻译的性能。例如，在语言识别中，给定一段“厨房食油用完了”的语言，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率，我们就可以根据相同读音的语言输出“厨房里食油用完了”的文本序列。 在机器翻译中，如果对英文“you go first

二项分布 n次独立随机试验,成功概率p,定义变量X,表示成功的次数k( κ ∈ [ 0 , n ] ),则分布P(X=k): p ( k ) = ( n k ) p k p n − k 特别的例子就是,抛硬币.做100次抛硬币试h验(抛10次硬币)你会发现这一百次的试验,所记录的k次成功,k有高,有低,(0,10)之间.直觉告诉我,这个k的分布接近正态分布. 当日常说,人的智商接近正态分布.随机变量是由什么的随机事件映射成? - 这里的数学thoughts 1. Events Algebra.Set Theory. complex events → simplified events.something like ,多项式化简. 2. Probability measure not just about ∑ , 0 ≤ P ( A ) ≤ 1 ,它们只是表示的符号.内容,比如0,1之间,事件的和的概率是事件概率的和；才是概率测度的属性.这个公理和欧几里得公理一样,也是历史的归纳得出.和我们计算组合数一样也是归纳出来的. 3. Reflection 随机变量random variable X ( u ) : u → R 其中 U ( u ) ⊂ Ω . - distribution function: F ( x ) = P ( X < x ) , − ∞ < x < + ∞

凯利公式： f* = (bp - q) / b 其中，f* = 投注金额占总资金的比例 p = 获胜的概率 q = 失败的概率，q = 1-p b = 赔率 假设：你输和赢的概率均为是50%，例如抛硬币。赢的时候净收益率为1，即rw=1，输的时候净损失率为0.5，即rl=0.5。也就是说当你每投入1元钱，赢的时候你能赢1元，输的时候你需要付出去5毛。 容易看出该假设下的期望收益是0.25。 根据凯利公式，我们可以得到每局最佳的下注比例为： 也就是说每次把一半的钱拿去下注，长期来看可以得到最大的收益。 结论一：在经过相同次的局数之后，最后的结果只与在这些局数中赢的局数的数量和输的局数的数量有关，而与在这些局数中赢的局和输的局的顺序无关。 凯利公式指明了风险控制的至关重要性：即便是正期望值的游戏也不能押太大的赌注。 从数学上讲，押注资金比例超过了凯利值，长期的赢钱速度反而下降，还会大大增加出现灾难性损失的可能性。 举个极端的例子，如果你每手都押上全部资金，那么不管你赢过多少钱，只要输一次就立刻破产。辛辛苦苦几十年，一夜回到解放前。 ------------------------- 在《 低风险投资之路 》书中有凯利公式： F=（Pw*R-Pl)/Rw R是赔率，Pw是胜率,Pl是败率，F是现有资金下次下注的比例，可以理解为股票的仓位 但是这个版本是简化的公式，主要用于赌博。

Atitit 语音识别的技术原理 1.1. 语音识别技术，也被称为 自动语音识别 Automatic Speech Recognition ， (ASR) ， 2 1.2. 模型 目前，主流的大词汇量语音识别系统多采用统计 模式识别技术 2 1.3. 基本方法 般来说 , 语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法。 2 1.3.1. 模板匹配的方法 2 1.4. 一般来说 , 语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法。 2 1.5. 提及 语音识别 ，就不能不说 Nuance， Nuance的语音技术是以统计推断方法为基础，着眼于音素（音节的声音）和语境来识别话语 2 1.6. ， 神经网络 。 这种技术可使得精确度提升 25%以上，这是一个巨大的飞跃，因为这个行业只需要提升5%就具备革命意义 3 1.7. 语音信号预处理与特征提取 3 1.7.1. 基于语音学和声学的方法 3 1.8. PCM 文件，也就是俗称的 wav 文件。 4 1.9. VAD 静音切除 4 1.10. 要对声音进行分析，需要对声音分帧，也就是把声音切开成一小段一小段，每小段称为一帧。 4 1.11. 一个完整的基于统计的语音识别系统可大致分为三部分： 5 1.12. MFCC 特征 特征主要用

/*--> */ /*--> */ 1 自动语音识别简介 语音识别技术，也可以称为自动语音识别（ Automatic Speech Recognition ， ASR ），其任务是把人所发出的语音中词汇内容转换为计算机可读入的文本。语音识别技术是一种综合性的技术，它涉及到多个学科领域，如发声机理和听觉机理、信号处理、概率论和信息论、模式识别以及人工智能等等。 目前，主流的大词汇量语音识别系统中通常采用基于统计模型的识别技术，典型的基于统计模型的语音识别系统通常有如下几个基本组成模块 ： 信号处理及特征提取模块。该模块的主要任务是从输入的语音信号中提取特征，用于声学模型的建模以及解码过程。但在提取特征之前也需要负责对语音信号进行降噪等处理，以提高系统的鲁棒性。 统计声学模型。通常的语音识别系统大都使用隐马尔科夫模型对词，音节、音素等基本的声学单元进行建模，生成声学模型。 语言模型。语言模型对系统所需识别的语言在单词层面上进行建模。语言模型包括正则语言，上下文无关文法的各种语言模型，但是语言的语法通常很复杂，语法文件中的语法规则会很多，并且需要繁重的人工劳动来完成语法规则的编写，所以但目前大多数语音识别系统普遍采用统计语言模型，其中大都是基于统计的 N 元语法（ N-gram ）模型及其变体。 发音词典。发音词典包含系统所能处理的单词的集合，并标明了其发音

2016-07-20 11:21:33 1受限玻尔兹曼机 梯度下降法 （以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小。具体而言，当使用 反向传播方法 计算导数的时候，随着网络的深度的增加，反向传播的梯度（从输出层到网络的最初几层）的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重的导数非常小。这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”[4]。 与梯度弥散问题紧密相关的问题是：当神经网络中的最后几层含有足够数量神经元的时候，可能单独这几层就足以对有标签数据进行建模，而不用最初几层的帮助。因此，对所有层都使用随机初始化的方法训练得到的整个网络的性能将会与训练得到的浅层网络（仅由深度网络的最后几层组成的浅层网络）的性能相似。 梯度弥散一直是困扰着深度神经网络的发展，那么如何解决梯度弥散问题呢？多伦多大学的Geoff Hinton提出了设想：受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）[1]，即一类具有两层结构的、对称链接无自反馈的随机神经网络模型（一种特殊的马尔科夫随机场）。 如图1所示，一个RBM包含一个由随机的隐单元构成的 隐藏层 （一般是伯努利分布）和一个由随机的可见（观测

线性回归 主要内容包括： 1、线性回归的基本要素 2、线性回归模型从零开始的实现 3、线性回归模型使用pytorch的简洁实现 线性回归的基本要素 1、模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。 2、数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 3、损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 4、优化函数 - 随机梯度下降 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical