Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering

Keywords

EM算法

Task Definition

  • 对于QA任务，每一个实例可用Information Retrieval - 图1表示，其中Information Retrieval - 图2为Reference Document
  • 记Information Retrieval - 图3为solution，即文档中的一块特定区域
  • 记Information Retrieval - 图4为task-specific function，即将solution转化为对应的answer
  • 训练目标：训练模型Information Retrieval - 图5，其将Information Retrieval - 图6作为输入，并提供solutionInformation Retrieval - 图7，使Information Retrieval - 图8

    Learning Method

    训练目标是为了优化模型Information Retrieval - 图9，使Information Retrieval - 图10之间的条件互信息最大化：
    Information Retrieval - 图11

Information Retrieval - 图12是Information Retrieval - 图13的后验概率分布，其中Information Retrieval - 图14是solution set
Information Retrieval - 图15

由于Information Retrieval - 图16是不可计算的，因此我们引入了一个重构question的模块Information Retrieval - 图17，并通过Information Retrieval - 图18来近似地估计Information Retrieval - 图19，其中Information Retrieval - 图20即indicator function
Information Retrieval - 图21

  • step 1：首先最小化Information Retrieval - 图22，也就是优化Information Retrieval - 图23，使Information Retrieval - 图24尽可能逼近Information Retrieval - 图25。具体操作即从Information Retrieval - 图26中 sampleInformation Retrieval - 图27，并使Information Retrieval - 图28最大化
  • step 2：最大化Information Retrieval - 图29，将Information Retrieval - 图30作为reward function，最大化Information Retrieval - 图31，其中Information Retrieval - 图32

    Article Reranking by Memory-enhanced Key Sentence Matching for Detecting Previously Fact-checked Claims

    https://zhuanlan.zhihu.com/p/393615707

    CoSQA: 20,000+ Web Queries for Code Search and Question Answering

    Contrastive Learning

    Information Retrieval - 图33
    Information Retrieval - 图34
    Information Retrieval - 图35
    将query进行rewrite，随后将改写后的query再代入以上两式中得到新的loss。该举是为了使模型具有泛化能力，适应不同的query
    Information Retrieval - 图36