contrastive loss

参考讲解：https://blog.csdn.net/qq_39575835/article/details/111252909 http://haokailong.top/2020/11/13/Contrastive-Loss/

对比学习出发点

• 相似样本映射之后距离比较近
• 不相似样本映射之后距离比较远

规定相似度函数为 ，那么contrastive loss定义如下：

其中，是一组 positive pair，是一组 negetive pair，loss 目标是的 positive pair 映射之后相似度足够高，negetive pair 相似度足够低。

wav2vec loss

对比 wav2vec 的 loss 和前面所讲的 loss，基本是差不多的，除了第二项 negetive pair 部分。前面的 contrastive loss 展开之后是 怕 positive pair 的相似度减去 negetive pair 的相似度。而在 wav2vec 中，则是在相似度前面加了个负号，从而实现相同的目的。式中的 是一个线性映射函数，从映射到域（ C 是 contex representation，Z 是 latent feature space）

网络架构

CNN 架构，利用两个 CNN 网络分别提取 C 和 Z，采用下一个状态预测任务进行模型的训练。

Wav2vec2.0

网络架构

CNN + transformers，利用 CNN 进行特征提取，