Pretraining-Based Natural Language Generation for Text Summarization

摘要

提出了基于预训练的编码解码框架，

• 对于encoder： 使用Bert对输入序列进行特征表示

• 对于decoder，是主要分为两阶的

  • 第一阶段 使用基于transfomer的解码器生成一个草稿的输出
  • 在第二阶段，我们对该draft序列的每个字进行掩码，并将其馈送到Bert，然后通过组合由Bert生成的输入序列和草图表示，我们使用基于变压器的Decodd ER，用于预测每个屏蔽位置的精炼字。

Model

在BERT之上建立的序列到序列框架的基础上，我们首先设计了一个字级的改进解码器，以解决上述两个问题。我们还引入了一个离散的 目标函数为改进解码器以减少曝光偏置问题。我们的模型的总体结构如图1所示。

3.1 problem formulation
我们定义输入的文档为
摘要定义为
给定输入文档X，我们首先通过左上下文解码器来预测摘要草稿，然后使用生成的摘要草稿，我们可以在上下文侧进行条件并细化内容。 摘要。草案将指导和约束摘要的完善过程。

3.2 summary

摘要draft是基于seq-seq模型的，在编码器的端将比文档X 编码成表达向量，H，然后将其喂到解码器生成摘要draft. A

ENcoder

来源：CSDN

作者：昕晴

链接：https://blog.csdn.net/qq_40210472/article/details/103599944