之前看了一个用rnn作诗、写文章比较典型的例子：https://github.com/hzy46/Char-RNN-TensorFlow 其训练过程：
假设batchsize=2，序列长度为5，原文章：12345642985718041937...
输入x:[[1 2 3 4 5],[6 4 2 9 8]]，尺寸2x5 输出y:[[2 3 4 5 1],[4 2 9 8 6]]，尺寸2x5， 后一个字是前一个字的输出，最后一个字的输出用第一个字替换（也可以用结束符）
分别one-hot表示： x:[[0100000000, 00100..., 00010..., 000010...., 000001....],[..., ..., ..., ..., ...]] ,尺寸2 x 5 x n_class y:[[00100...., 00010..., 000010...., 000001....,0100000000],[..., ..., ..., ..., ...]],尺寸2 x 5 x n_class
输入x到RNN: x_out, x_state = RNN(x), x_out：(分别对应序列中每个字符的输出)，尺寸:2 x 5 x h_size x_state：（序列最后状态向量），尺寸：2 x h_size
增加输出层: logits = tf.matmul(x_out, w) + b 尺寸w:(h_size x n_class), b:(n_class) logits: 2 x 5 x n_class
训练损失最小: loss = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y) # y尺寸=logits尺寸
测试阶段： 给定一个初始字符，产生logits,经过softmax得到n_class个概率，输出概率最大的对应的字符,将该字符又作为输入产生第二个logits得到下一个字符，持续下去，将得到类似于训练佯本的文章。
注意: 上面方法只能用 x_out信息与y一一对应来训练，而不是用x_state；而在机器翻译encode-decode模型时用x_state来产生序列，这是一个不同点。
再举一个匹配模型的例子：相似问题对训练。 训练过程:
假设batchsize=2，序列长度最大为5，样例：q1:12345 q2: 64298 y:1； q1:57180 q2:41937 y:0 ; ...
输入q1:[[1 2 3 4 5],[5 7 1 8 0]]，尺寸2x5 输入q2:[[6 4 2 9 8],[4 1 9 3 7]]，尺寸2x5 输出y:[1,0]
分别embedding表示： q1:[[[0.5 0.2 0.6...], [0.1 2.1...], [0.6...], [-1.2....], [2.0....]],[[...], [...], [...], [...], [...]]] ,尺寸2 x 5 x embedsize q2:[[[0.2 0.1 0.6...], [1.1 2.2...], [0.7...], [-0.2....], [3.0....]],[[...], [...], [...], [...], [...]]],尺寸2 x 5 x embedsize
输入q1,q2到RNN: q1_out, q1_state = RNN(q1), q2_out, q2_state = RNN(q2), out：(分别对应序列中每个字符的输出)，尺寸:2 x 5 x h_size state：（序列最后状态向量），尺寸：2 x h_size
特征选择: 可以是state，也可以是out，可以是pooling(out) 还可以是tf.matmul(out, w) + b 最后得到feature1,feature2 两个向量的关系logits = f(feature1,feature2),尺寸batchsizex 1
训练损失最小: loss = tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits )
测试阶段： 给定q1,q2，产生logits,经过sigmoid得到相似度，来判断是否是0或1。
来源：oschina
链接：https://my.oschina.net/u/3851199/blog/1944827