探究一下负样本对对比学习的影响

    image.png
    Key为正,Query为负
    Query为正,Queue为负

    然后探究了各种因素对影响

    BatchSize,EMA算法decay速率,映射projection layer的影响(需要有这个层,否则会退化),数据增强策略,还有负样本队列的大小(过大的负样本队列会导致有很多过时的Feature,使用队列中部的数据是最好的)
    image.png