截屏2021-08-08 上午10.56.51.png

1. Abstract

针对传统CVR模型中存在的两个问题:

  1. sample selection bias:CVR模型在点击数据上训练,在全量数据上推理,两数据集间存在协变量偏移
  2. data sparsity:点击数据相对全量数据数据量较少,CVR模型embedding层得不到充分训练

提出多任务学习模型ESMM,根据CTR、CTCVR、CVR如下关系式进行建模:
截屏2021-08-08 上午11.15.45.png
其中分别表示数据、点击、转化,网络结构如下:
截屏2021-08-08 上午11.07.18.png

2. Entire Space Multi-Task Model

ESMM通过引入两个子任务CTR、CTCVR,根据上述提到关系式即可得到CVR:

在具体建模过程中,进行如下工程优化:

  • 考虑到实际CTR往往很小,通过上式CTR作为分母求CVR时容易导致CTR不稳定,甚至超过1,故使用乘法形式代替除法形式,能够保证CTR值域位于[0,1];
  • CVR与CTR模型共享embedding,使embedding得到更充分训练

    3. Experiments

    损失函数由CTR和CTCVR两部分组成:

实验对比如下:
截屏2021-08-08 下午12.18.40.png
截屏2021-08-08 下午12.19.19.png