Attention

Attention for Seq2Seq Model with RNN

s**0=hm si=tanh(A’×[xi‘,si-1,ci-1**]+b)
使用Attention，需要在Decorder中计算Context Vector C**i**
要计算Decorder中的第j个c**j，需要先计算sj与Encorder中每一个hi的相关性记作αij**

Transformer中计算Context vector的方式（如上图）：
c**j = α1j×v:1+α2j×v:2+α3j×v:3+…=Σi=1i=mαij×v**:i

SimpleRNN+Attention中计算Context vector的方式（如上图）：
c**j = α1j×h1+α2j×h2+α3j×h3+…=Σi=1i=mαij×h**i

Attention for Seq2Seq Model without RNN

Transformer

Encorder

Decorder

Transformer

BERT