Label match：从曝光到转化（eg. 下单）中间间隔可能很久（且间隔时间不确定），那么如何确定样本的 label？

    1. 过早把样本送入模型，把最终会转化但是目前还没回传 label 的样本当做负样本，导致模型低估
    2. 过晚把样本送入模型，即让所有样本都等待一个足够长的时间才送入模型，导致模型没能及时更新

    CVR 延迟预估解决方案的三篇代表性论文：

    1. Modeling Delayed Feedback in Display Advertising，2014
      1. 产生训练集的时候，对一个点击后的样本，当跟着一个转化的时候将被标记成正样本，否则将被标记成 unlabeled（包括当前还未转化，最终也不会转化）
      2. CVR 建模拆解：将cvr预估拆分为两个模型，转化模型（CVR）和 延迟模型（DFM）。CVR模型用户预估用户最终是否发生转化，DFM则预估点击后延迟的时间
      3. DFM 的优化思路：假设转化延迟时间服从指数分布：CVR 预估 —— label match(延迟转化问题) - 图1
      4. 模型训练及预估：CVR和DFM联合训练，采用EM算法、GD方法
      5. 在线预估时，只使用CVR模型，DFM被舍弃
    2. A Nonparametric Delayed Feedback Model for Conversion Rate Prediction, 2018
      1. 相同点：与第一篇论文思想基本一致，第二篇也主要是对cvr预估拆解为两个模型 conversion model 和 time delay model
      2. 不同点：第一篇论文主要是基于经验假设转化延迟正好服从指数分布，但实际业务场景，每个广告在不同场景和不同上下文，不同用户的延迟时间的分布也大概率不同，所以，很难预先判定转化延迟服从哪个分布。因此第二篇 将延迟时间的期望表示形式进行了模型化，通过模型参数自动去拟合不同场景下的数据以及业务的期望分布形态。
    3. An Attention-based Model for Conversion Rate Prediction with Delayed Feedback via Post-click Calibration，2020 京东
      1. 相同点：文章也是将cvr预估分为两个模块：conversion model 和 time delay model
      2. 创新点：
        1. 提出了一个更加高效的双层结构的深度学习框架（TS-DL：two-stage deep learning framework）
          1. 第一层，利用展示/点击信息学习item emb，通过item emb迁移优化cvr模型的特征选取
          2. 第二层，利用点击/转化信息建模cvr，沿用以往思想将cvr模型拆分为conversion model 和time delay model分别建模，对转化延迟采用模型直接学习。与以往不同，本文中两个模型均采用深度神经网络结构
        2. 采用self/inner attention机制挖掘用户购买意图，建模conversion model
        3. 引入点击后至转化前的用户浅层行为序列，并通过双层GRU刻画用户长短期兴趣优化time delay model

    其它论文：

    1. Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction 基于实时样本回补与label修正的无偏CVR延迟反馈建模 —— 阿里妈妈

    摘要：在广告场景中，CVR预估同时作为排序机制与CPC、oCPX等多种出价策略的基础模块，承担着平台效益与广告主ROI兼顾、保持电商广告平台健康发展的重要职能。同时，为了使模型能够快速适应流量的实时变化，提升模型的预估能力，商业系统中通常以在线学习的方式实时更新模型。然而，在线学习场景下，成交普遍存在的、显著的延迟反馈现象将更加严重，进一步提升了CVR预估的难度。业界主流的CVR延迟反馈建模方法通常引入一个观测窗口来平衡label准确性和样本时效性，并设计不同的样本回补机制来充分利用稀疏的各类反馈信号，最后应用重要性采用来消除观测分布和真实分布上的偏差。但现有方法在应用重要性采用的过程中都错误地将假负样本当做真负样本进行处理，导致实际上有偏的建模。我们提出了DEFUSE方法(DElayed Feedback modeling with UnbiaSed Estimation)，将观测样本划分为4种类型，在此基础上优化了重要性采用的推导和应用方式，通过在4类样本上更细粒度地应用重要性采样，实现了CVR延迟反馈的无偏建模。针对归因周期较小的场景，我们提出了一种基于观测窗口内外成交独立建模的Bi-DEFUSE方案，将CVR预估拆分为两个子任务，充分利用了无偏的窗口内分布进行建模，并采用多任务学习框架实现了联合训练。详尽的离线实验充分验证了DEFUSE、Bi-DEFUSE设计思路的合理性，取得了相对业界主流方案更加显著的收益。目前，该建模方案已在阿里妈妈搜索广告主场景全量上线，取得了显著的在线效果。