Insight & target problem

出发点都是很简单的
现在的模型很棒
但是存在事实一致性问题,文章希望解决这个问题

Solution

方法就是生成候选,然后训练一个模型选择器

候选的生成策略
我个人理解的是

训练阶段

  1. 收集摘要里实体都在文章的摘要
  2. 对这些Reference,选择文中的相同类别的不同实体替换,作为负例
  3. 然后利用对比学习和分类训练一个分类器

测试阶段

  1. 收集模型生成的摘要
  2. 利用同样的手段构造候选
  3. 选择最高的分数

由于第二步可能会因为替换实体,导致纠正了原文的错误,所以可能会得到一个更一致性的摘要

数据利用的是BART-Xsum的数据

Highlight

亮点

  1. 对比学习可以借鉴
  2. 这种后编辑(选择)策略

    Others

    我觉得论文有一些缺点

  3. 正例和负例的构造,相当于就是在强迫模型选择一个拥有更多原文实体的摘要,这个本身就是特别直观的,确实拥有更多原文的实体的摘要,当然是更加faithful的。。。这个本身其实是很简单的,并不是很出彩。。

  4. 第二个是在Xsum上做的测试,Xsum本来错误的就特别多,,,还没有在CNN等等的数据集上面测试,我觉得不大合理,就好像是在一个全是病句的文章里改错。。。随便改都可能是往好的方向改,意义不是很大,得在一些错误比较少的数据集上测试,表明模型真的有找到错误的能力
  5. 还有一个就是,这个后编辑的策略也不是什么新的东西,已经有一些论文做过了。。。。我觉得这篇论文有点一般