Contrastive Predictive Losses
Pulls temporally nearby representations closer and pushes temporally distant ones further
预测红色块之后的蓝色块和红色块是不是属于同一个句子，同一个句子的embedding距离近2，不同句子的embedding距离远
有数学证明这样可以最大化互信息
Reconstruction Losses
Speech Version of a RNN Language Model
若有收获，就点个赞吧
0 人点赞
