from 《神经网络与深度学习》第八章前半部分
注意力机制包含两种

  • 聚焦式注意力机制：已经知道要关注什么信息了，有意识的

  • 显著性注意力机制：无意识的注意力机制

    基本的注意力机制

    image.png

  • 计算注意力分布

image.png
image.png
image.png

  • 加权平均

image.png

Hard Attention

image.png
hard attention需要通过强化学习来训练

键值对注意力

image.png

多头注意力

image.png

结构化注意力

image.png

指针网络

image.png
image.png

Self-Attention Mechanism 自注意力机制

image.png
image.png
image.png