RNN (Recurrent Neural Network)

image.png

由于它的memory机制(上图中蓝色框框),所以如果输入的序列顺序不同,得到的输出也会不同。上图的RNN是最简单的一种RNN,说它简单是因为memory简单。LSTM就比较复杂了。

LSTM (Long Short-Term Memory)

注意LSTM全称里的短线符号“-”,它的意思是指这是一个比较 long 的 “Short-Term Memory”。
image.png上图中蓝色框框代表存储的memory值

当某人说他用的是RNN时,其实就是用的LSTM。

image.png

参考

ML Lecture 21-1: Recurrent Neural Network (Part I)-李宏毅