https://blog.csdn.net/qq_41140449/article/details/123325471

image.png
image.png

image.png

在文字上的sequence to sequence的应用

image.pngimage.png
image.png
image.png
image.png

Encoder

image.png
image.png
Encoder用的就是Self-attention

image.png

在transformer中加入了Residual的设计

image.png

这里的self-attention加入了residual connection和layer norm
经过residual connection和layer norm之后的输出才进入到Full Collection里面。

image.png

image.png
image.png

Decoder

image.png
image.png
image.png
如果把decoder中间的那一块遮起来，我们会发现encoder和decoder并没有太大的区别。

image.png
Masked Self-attention——产生b1的时候，只需要考虑a1
产生b2的时候只需要考虑a1和a2

image.png

在decoder中，是先有a1 才有a2 然后才有a3

image.png

image.png
image.png

image.png
image.png
image.png