随意:跟随意愿,主观的做某事
    2a69debcabe0f85b58698121b58a3ec.png
    根据query查询我想要的东西

    78eae3920a80e1ed0dea02ae34c98ed.png
    (xi,yi)代表(key,value)
    K可以看作衡量某一个x与各xi之间距离的一个函数,距离越近K()越大,距离越远K()越小

    演变向softmax
    20add76d2d79433696af06a206169d4.png

    带可学习参数w的注意力机制
    c65915f8b73eeb8d5e417630581b276.png

    w对应是高斯核的宽度,即学习取多宽的核来找重要的东西。