Insight & target problem

模型提升事实正确性往往牺牲了Abstractiveness
Abstractive是我们要的，需要考虑。

提出新的指标：Factual Effective，即尽可能的少牺牲Abstractive提升Factual。思路就和Recall和Precision的tradeoff一样的的道理。

进一步的提出选择器，在不同程度Abstractive的结果里面选择，在保证Factual的情况下，选择最Abstractive的
（选择器就是一个事实正确性评估模型，可以判断够不够Factual 正确）

Solution

  1. 利用FactCC的思路训练模型，作为selector，可以给一个样本给出他是事实正确的概率
  2. 根据reference的抽象度划分数据集为四个部分，分别训练模型获得不同Abstractive倾向的模型
  3. 利用不同倾向的模型预测，然后用Selector判断事实正确性概率，在概率高于阈值的情况下选择最Abstractive的情况
  4. 用一些Oracle证明潜力

摘要度和正确性之间相关关系
image.png
证明了可以通过选择获得比Baseline更好的Trade-off
image.png

Selector一种是ROC最大，一种是带权重的F1（类似可以控制precision和recall的）
image.png

Highlight

  1. 提出了abstractive和factual之间的关系，指出了很多模型牺牲abstractive来提升factual
  2. 提出了新的Metric，即利用了曲线，要求在曲线上方才是有效提升
  3. 利用Selector，在保证事实一致性的同时尽可能的保证abstractive

Others

缺点在于，假如训练集不能够很好的根据抽象度划分，进而获得不同倾向的模型，那selector就没有意义