作者认为对话摘要的问题:

  1. 多人对话
  2. 语言形式,对话的形式特殊
  3. 否定句式
  4. 推理能力

策略

多人对话的问题就是有一些人名很少出现,作者用常见人名进行替换(保持性别一致的常用人名)

对话形式特殊,则作者用BART在对话形式的数据上进一步的pretrain,利用WWM和Span Mask预测

否定句式,作者用Roberta在相关任务学习,然后预测否定位置,然后用Special Token标记

推理能力,作者利用多任务学习希望迁移知识

结果

替换人名略有用处

进一步的预训练里,略有提升,但是感觉不是很多,一个点不到。

否定句式一点用没有,性能退步

推理能力用了多种任务

  1. 预测故事结局
  2. 常识生成,给出一个描述
  3. 常识知识库构造:和关系分类相关

最后也有微小的提升

组合了预训练和多任务之后,人名替换就没有用了

意义好像不是很大