循环神经网络

language model即语言生成模型 character level language model 训练过程 训练过程的输入时给定的，结果是一个向量，进过softmax后就是为各个character的概率 测试过程 输入是前一个的输出，输出是由soft max 之后的概率分布 采样得到的 ---------------------------------------------------------------------------------------------------------------------------------- 如果想要用维基百科的英文语句训练RNN，那么将会无法收敛 ---------------------------------------------------------------------------------------------------------------------------------- 可以生成诗歌，戏剧，数学证明，c语言代码！ --------------------------------------------------------------------------------------------------------------------------------- language

　　循环神经网络（Recurrent Neural NetWork,RNN）是一种将节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为。 　　循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上来看，循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。也就是说，循环神经网络的隐藏层之间的节点是有连接的，隐藏层的输入不仅包含输入层的输出，还包括上一时刻隐藏层的输出。 　　 　　 　　如图为典型的RNN结构示意图。RNN主体结构的输入，除了来自输入层的x t 还有一个循环的边来提供上一时刻的隐层状态S t 。在每一时刻，RNN的模块在读取了X t 和S t-1 之后会产生新的隐藏状态S t ,并产生本时刻的输出O t 。RNN当前的状态是由上一时刻的状态S t-1 和当前的输入X t 共同决定的。对于一个序列数据，可以将这个序列上不同时刻的数据依次传入循环神经网络的输入层；而输出既可以是对序列下一时刻的预测，也可以是对当前时刻信息的处理结果。循环神经网络要求每一时刻都有一个输入，但是不一定每个时刻都有输出。 　　网络在t时刻接收到输入Xt之后，隐藏层的值是S t ，输出值是O t 。S t 的值不仅仅取决于S t ，还取决于S t-1 。可以用下面的公式来表示。 　　　　　　O t =g(V

循环神经网络导读 循环神经网络（Recurrent Neural Network）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的的循环神经网络。今天，小编带你认识常见的几种循环神经网络模型，主要内容来自Colah的博客，外加一些自己的总结，一起来学习吧~ 循环神经网络 RNNs 在阅读或思考的过程中，人类常常结合以前的信息得到结果。但是，普通的神经网络并不能做到这一点。这或许便是传统神经网络的主要缺点。 循环神经网络 可以做到这一点，通过循环，循环神经网络将当前步所学习到的信息传递下去，从而学会像人一样进行思考。 上图即是循环神经网络的一个示例。可以看到，同普通的神经网络相似，其同样具有输入输出层以及隐层。但是，循环神经网络会结合当前步的输入 以及上一步网络所给出的 hidden state , 计算出当前时间步的 ，并将 作为输入输出到下一时间步的循环神经网络之中。同时，网络的其他部分会根据当前的状态 计算出当前步的输出 . 给出计算公式为： 为了便于理解，我们可以将循环神经网络视作一系列共享权值的网络，并将其展开。 展开之后，可以感觉到循环神经网络似乎天然与

前面几章介绍了卷积神经网络在自然语言处理中的应用，这是因为卷积神经网络便于理解并且易上手编程，大多教程（比如tensorflow的官方文档就先CNN再RNN）。但RNN的原理决定了它先天就适合做自然语言处理方向的问题（如语言模型，语音识别，文本翻译等等）。因此接下来一段时间应该会着重研究RNN，LSTM，Attention等在NLP的应用及其tensorflow实现。 在介绍本篇文章之前，先推荐几篇学习内容： 语言模型部分： 1、 CS224d 第四篇notes ，首先讲语言模型的问题，然后推导了RNN、biRNN和LSTM。比99%的中文博客要靠谱。 2、 language model and word2vec ，前半部分是语言模型，后半部分介绍了Skip-gram等模型，并引入word2vec。 RNN和LSTM部分： 1、 The Unreasonable Effectiveness of Recurrent Neural Networks 该文主要介绍了RNN在NLP中的应用，很直观。 2、 Understanding LSTM Networks LSTM过程中很完美的公式，相信看一遍就能记住。 3、 2的中文版 对自己英文不自信的同学可以看这个译文。 本篇文章实现基于字符的RNN语言模型，源自于 Understanding LSTM Networks ，在该篇文章中也附有

6.1 为什么需要RNN？ ​时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x，就能得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如： ​当我们在理解一句话意思时，孤立的理解这句话的每个词不足以理解整体意思，我们通常需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就由此诞生了。 6.2 图解RNN基本结构 6.2.1 基本的单层网络结构 ​在进一步了解RNN之前，先给出最基本的单层网络结构，输入是 $x$ ，经过变换 Wx+b 和激活函数 f 得到输出 y ： 6.2.2 图解经典RNN结构 ​在实际应用中，我们还会遇到很多序列形的数据，如： 自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，x1、x2、x3……是每帧的声音信号。 时间序列问题。例如每天的股票价格等等。 其单个序列如下图所示： 前面介绍了诸如此类的序列数据用原始的神经网络难以建模，基于此，RNN引入了隐状态$h$

上⼀节介绍的n元语法中，时间步t的词 基于前⾯所有词的条件概率只考虑了最近时间步的n-1个词。如果要考虑⽐t-(n-1)更更早时间步的词对 的可能影响，我们需要增⼤n.但这样模型参数的数量将随之呈指数级增长。 本节介绍循环神经网络。它并非刚性地记忆所有固定长度的序列，⽽是通过隐藏状态来存储之前时间步的信息。⾸先我们回忆一下前面介绍过的多层感知机，然后描述如何添加隐藏状态来将它变成循环神经网络。 目录 1. 不含隐藏状态的神经网络 2. 含隐藏状态的循环神经网络 3. 应用：基于字符级循环神经网络的语言模型 4. 小结 1. 不含隐藏状态的神经网络 让我们考虑一个含单隐藏层的多层感知机。给定样本数为n，输入个数(特征数或特征向量维度)为d的小批量数据样本 .设隐藏层的激活函数为 ,那么隐藏层的输出 计算为: 其中隐藏层权􏰀重参数 ,隐藏层偏差参数 ,h为隐藏单元数。上式相加的两项形状不同，因此将按照⼴播机制相加。把隐藏变量H作为输出层的输入，且设输出个数为q（如分类问题中的类别数)，输出层的输出为： 其中输出变量 ,输出层权重参数 ,输出层偏差参数 .如果是分类问 题，我们可以使⽤softmax(O)来计算输出类别的概率分布。 2. 含隐藏状态的循环神经网络 现在我们考虑输入数据存在时间相关性的情况。假设 是序列中时间步t的小批量输入， 是该时间步的隐藏变量。与多层感知机不同的是