SimBert

训练任务有两个

任务1

对每一个相似句对构造两个样本
然后做BERT的NLU任务，具体原理在
21.9.14 在BERT里Seq2Seq

任务2

一言概括就是，提取句向量，然后只有相似句对对象是相似，其他不相似的对比学习

SimCse

1、SimCSE去掉了SimBERT的生成部分，仅保留检索模型； 2、由于SimCSE没有标签数据，所以把每个句子自身视为相似句传入。

SimCSE则提出了一个极为简单的方案：直接把Dropout当作数据扩增！

来源

大佬的笔记记得好全。。。基本搬运摘抄了。。。这里附上出处
https://kexue.fm/archives/7427
https://kexue.fm/archives/8348