Insight & target problem

需要细粒度的比较内容的能力
因此提出了一个两阶段的模型

Solution

第一个贡献

第一个阶段,用摘要去原文找支持的句子
第二个阶段,对支持的句子和摘要计算相关
第三个阶段,合并每一个分块的分数

第一个阶段用TFIDF查询
第二个计算用Cross Attention,分别获得Evidence和Claim的表示,然后在文本长度上做Attention
这个时候用各种pooling技术,可以放缩表示,最后用MLP计算一个Evidence对summary的相关分

第三个阶段合并分数,这个时候可以直接用min,max,avg。也可以用weight的方法
就是把Evidence和claim的头部CLS向量作为一个整体表示,可以计算一个相关分数对整体的贡献

有点像下雨有多个因素,每一个因素有概率,然后乘上每一个因素对下雨的贡献,就可以整合出下雨的概率

第二个贡献

第二个贡献就是构造一个数据集
把Refernce取一个句子出来,做Noise Transformation,另外一个比较有意思的方法,对于一个claim和Document的pair,我找到和Claim最相关的document的部分,然后我删除,就可以得到一个不受Document支持的一个负例pair

第三个贡献

用了对比学习的方法,来帮助模型区分正例和负例

Highlight

Others