A Semantic-based Method for Unsupervised Commonsense Question Answering
Task Definition
的语义得分
可以用
来估计，其定义如下：
其中，
为answer
的supporters集合，
为所有可能answer的集合，
为indicator function
indicator function定义如下：
其中，
为使用BERT等model抽取出的语义特征
上面的indicator function过于strict，因此引入一个soft version：
其中
为温度控制参数，值越大越接近strict的indicator function
由于无法枚举
中的全部answer，因此使用下面的方法来近似估计：
Voting View
- step 1：sample voters
from 
- step 2：each voter votes for the choices with the semantic similarity weights
votes for 
with the weight of 
与passage
，首先将两者拼接成一个sequence
，接着通过transformer输出hidden states
根据encoder输出的内容，模型可输出每个token的应当纳入rationale的概率
损失函数：
为第i个token的rationale label
Rationale-Enriched Answer Generation
Joint Training and Prediction
所以很简单，最后就是一个多任务学习。一项训练encoder，一项训练整个模型
若有收获，就点个赞吧
0 人点赞
