Insight & target problem

对常见的错误类型进行分析,人工标注和一些分析总结

Solution

首先是把常见的错误分为了两个大类,然后两个大类的下面还有具体的类别
image.png

然后对常见的几个摘要模型的结果进行了人工标注
image.png
image.png

Highlight

有一些结论

  1. 首先是需要一个比较好的指标,因为上面的实验表明了,在摘要比较短,或者是extractive的时候,这样的模型是会更加的受益的
  2. 第二个是说两个Metric之间是相关的,一个变大另外一个也会变大
  3. 预训练模型的错误可以比较少(老是看到这个结论了)

Others