softmax,带温度t

image.png

  • t越小,越能将hard负例分开。
  • 和CCL结合,增加负样本阈值,增加正负样本权重,可能进一步提高指标。
  • 温度t问什么不能减小到0?t减小时,负样本和正样本的距离拉大。但是有些负样本和正样本确实很相似,如果试图将其完全推向负样本,也是不合理的。样本label的真值应该是分数,因为现实中有些样本label无法简单用0或1描述,是存在模糊状态的。

CCL:Cosine Contrastive Loss

image.png

  • 对负样本设置阈值,分数太低的负样本直接丢掉,只学习有信息量的负样本。
  • 增加正负样本权重,缓解正负样本不平衡问题。
  • 缺点:
    • 难易样本权重?0.8和0.9的负样本权重应该也是不同的,0.9的样本权重应该大些。可以用e^x增强。
    • 正负样本权重?u1的负样本可能1个,u2的负样本可能100个,如何区分?u1的负样本权重为1,u2的负样本权重为1/100。loss第2项可以修改为和实际负样本数量相关的多项时,例如n^γ。
    • 流行度权重(用户/商品)?u1的流行度为1,u2的流行度为100,如何修正流行度的贡献?loss中增加流行度因子,取值为流行度p的多项式p^γ。类似地,需要增加商品流行度权重。