作者认为对话摘要的问题:
- 多人对话
- 语言形式,对话的形式特殊
- 否定句式
- 推理能力
策略
多人对话的问题就是有一些人名很少出现,作者用常见人名进行替换(保持性别一致的常用人名)
对话形式特殊,则作者用BART在对话形式的数据上进一步的pretrain,利用WWM和Span Mask预测
否定句式,作者用Roberta在相关任务学习,然后预测否定位置,然后用Special Token标记
推理能力,作者利用多任务学习希望迁移知识
结果
替换人名略有用处
进一步的预训练里,略有提升,但是感觉不是很多,一个点不到。
否定句式一点用没有,性能退步
推理能力用了多种任务
- 预测故事结局
- 常识生成,给出一个描述
- 常识知识库构造:和关系分类相关
最后也有微小的提升
组合了预训练和多任务之后,人名替换就没有用了
意义好像不是很大