来源：https://mp.weixin.qq.com/s/JaP7FjQeHyHURj1qh3rKQg

    记录下相关重要结论：

    1. CE和BM25在排序 top10 结果中有着很大的差异，这意味着两种方法对于各自头部文档相关性的定义有着很大的不同；而在低分段 top 1000 重叠度较高。（真是幸福各有千秋，而不幸如出一辙= =）
      • 所以，当我们采用 BM25 召回+BERT 排序的检索方案时，要在性能允许的前提下，尽可能提高 BM25 召回的数量！！！
    2. 精确匹配是一个重要的基础排序策略，而BERT的软匹配能力是BM25所不具备的，即语义泛化能力！
      • BERT的主要提升是召回了被BM25低估的doc（即召回的显著提升），
      • 同时也引入了一些误差，即BERT高估了一些原本被BM25排序正确的低相关性doc；
      • 也存在一些被BERT大大低估的【高度相关】的doc，反而BM25的排序更加准确，未给出 case 分析；
    3. 最后，在检索任务中，现在仍没有实验表明NN模型可以完全替代传统基于term的稀疏匹配算法。不管是召回还是排序阶段，这两者依旧是相辅相成的关系。