考虑到之前的Prefix-Prompt的方法都是单独训练多个prompt,因此这里提出了一个方法可以同时训练多个Prefix,考虑到了之间的关系

设计的Prefix其实就是连续的Prompt,然后每一层都有 N _D _ M维度,分别是个数,层数和隐藏维度

训练方法

全监督方法

image.png
全监督就是给定了Prefix应该是哪个,因此这个index是固定的,只需要直接优化当前prefix的生成Text的概率,以及作为对比学习降低其他prefix可以生成text的概率。

无监督学习

没有指定prefix,则需要估计出prefix的下标,于是用一个概率去估计
估计方法就是用Encoder编码X,然后和每一个下标做距离后Softmax

假设了下标的概率分布是一个平均分布,因此用了一个KL Loss要求分布和平均分布看齐

image.png
image.png
image.png