- 分享主题:STAR
- 论文标题:One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction
- 论文链接:https://arxiv.org/pdf/2101.11427v1.pdf
- 分享人:唐共勇

1. Summary

【必写】,推荐使用 grammarly 检查语法问题,尽量参考论文 introduction 的写作方式。需要写出

  1. 这篇文章解决了什么问题?
  2. 作者使用了什么方法(不用太细节)来解决了这个问题?
  3. 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解?

For e-commerce, CTR estimation is usually required for commodities in different business domains. For this multi-domain situation, the common practice is that each domain uses its unique data to train a separate model. Multi-task model is to estimate multiple objectives at the same time, and one model is to optimize multiple objectives. The multi-domain problem is to solve the same problem in different domains. In this paper, a new model star based on multi-domain learning is proposed, and a star topology is proposed to solve the problem of information sharing. The problem can realize information sharing between different domains and improve the effectiveness of the CTR prediction model.

2. 你对于论文的思考

需要写出你自己对于论文的思考,例如优缺点,你的takeaways

  1. 提出STAR模型建模不同的场景
  2. 使用PN(partitioned normalization)分区归一化,解决各域之间独立分布的问题
  3. 全连接层FCN区分全域共性特点和单域个性化的特点
  4. 辅助网络引入各个域个性化的特征信息


针对于我的论文,这篇论文的背景是高度相似的,但问题在于该论文试图采用单模型的形式来解决问题,而我试图借助多任务的方式,因此其共享信息的方式需要变更。

3. 其他

【可选】

One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction - 图1
1、底层是不同域之间相同ID的embedding共享(跨域共享),节省内存,提升效率;
2、embedding被拼接,然后PN得到各个域的归一化结果;
3、PN归一化之后输入到FCN全连接,包括共享的FCN和每个场景对应的FCN,2种类型的FCN——shared FCN和domain-specific FCN
4、每个场景的FCN加上辅助网络的输出,体现场景的特点,并预测ctr.

One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction - 图2
一般的,全连接之前增加BN操作,加速收敛,但是BN假设所有的样本具有共同的分布,而多域模型每一个域的数据分布都不一样,因此不能使用BN。所以作者提出了针对域的归一化方法PN。
实际上,就是分场景BN。

One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction - 图3
多层深度的全连接,包括2部分,
1、全场景共享的FCN,即shared FCN,参数记作W,B;
2、每个场景的FCN,即domain-specific FCN, 参数记作Wp,Bp(p表示域)
每一个域的参数根据shared FCN和domain-specific FCN的 W, b 进行element-wise相加。
需要注意的是,shared FCN使用了所有的样本更新参数,而domain-specific FCN只使用对应场景的样本更新参数