Insight & target problem

这个论文还是比较有意思的,使用模型对实体进行修改,具体的做法其实是一种重新生成

Solution

image.png
第一个方案使用QA的方法
首先从摘要里按照顺序的选择一个实体进行MASK,然后把带有这个MASK的句子和原文进行拼接,然后输入,利用BERT编码一下,然后利用HiddenState,做两个Pointer,指向Source里面的start和end。以此类推,可以算T次(假设里面有T个实体)

第二种方法是自回归的方法,QA的方法相当于是认为事实错误之间是独立的,所以可以循环的一个一个的重新生成,这种方法在错误比较多的时候会比较差(因为其他的错误都在文中)
因此自回归的方法就是一次性把所有的实体都MASK,然后按照顺序的重新生成
生成的时候对于第T个MASK,利用前面一次生成的表示,和当前的MASK的表示拼接,然后利用Cross-Attention类似于Pointer-Generator里面的指针,利用Attention计算两个Answer的位置。以此类推的自回归的把这次的生成表示传达给下一个实体的生成

基于上面的两种方法,就可以在一些模型的输出结果上进一步的做后编辑
效果看起来还可以
image.png

Highlight

这个方法还是比较巧妙的,相当于是一次重新的生成

Others