ECL

equivariant contrastive learning ICLR 2022

Equivariant和Invariant

对比学习中本来只存在不变性，invariant，意思就是在做transformation之后得到的表示没有包含关于这个transformation的信息。作者又据此引入了两个概念，sensitivity和insensitivity，以及equivariance。
T_g代表一种transformation，f为encoder，invariant体现在，也就是编码的结果不会被中间产生的transformation影响。而equivariant定义为，T’是一个无参数的固定的transformation。invariant可以看作equivariant的特殊情况，T’是个identity function。之前的CL选择的都是f对G是insensitive的。而T’不是identity function的时候，f就是对G sensitive的，因为变换G会体现在编码中。

作者称之前的CL为I-SSL，提出了新的E-SSL。

Method

方法就是让编码器兼具sensitivity和insensitivity，从而学到更好的表示。下图是框架。

保证insensitivity的方法就是往常的加augmentation，而加入sensitivity的方法是prediction，即预测transformation。loss函数如下：

前一项就是普通的CL，即I-SSL。f是encoder，后一项是E-SSL，意思是根据预测g，体现了equivariant。底下的图很好地说明了在干嘛。想法真的很简单，笑死。