RETRO,用小模型 + 数据检索的方案

    首先利用BERT来获取Key
    image.png

    如何inference?
    image.png

    然后encoder输入retreving text,decoder输入input
    每隔若干层decoder会用一个cross attention和encoder建立联系
    image.png

    image.png