论文研读:基于统计重加权的方法减少通用回复 会议名称:EMNLP2018 文章题目:Towards Less Generic Responses in Neural Conversation Models: A Statistical Re-weighting Method 原文链接:https://link.zhihu.com/?target=https%3A//www.paperweekly.site/papers/2440 一句话概括: 针对开放对话领域的对话多对多关系并且产生通用回复的问题,文章在损失项中引入权重的概念,降低通用回复权重,降低过短或者过长语句的权重。 论文背景 神经生成模型在机器翻译中的成功应用,即神经机器翻译(Neural Machine Translation, NMT),激发了研究人员对于 神经对话模型 的热情。目前最常用的框架为Seq2Seq模型,其通常通过极大似然法,最大化回复的概率得到输出结果。但在上述任务中会存在一些问题,其中最严重的的一个是模型经常会产生一个通用的回复(例如,我不知道),而不是一个有意义的特定回答。 在开放领域的对话中,我们经常发现对于一个输入 \(x\) ,会得到若干意思不一致,但是同样可以接受的回答。如问“你吃饭了吗”,回复“还没”,“不饿”,“刚吃完”,“不急”等等都可以被接受,因此对于 \(x\) 到