1. RNN模型中存在的问题：梯度消失问题和梯度爆炸问题

image.png

2. RNN单元

image.png

2. 简化版门控循环神经网络（GRU）

image.png

3. 完整版GRU(加入了关联度考量）

image.png

4. GRU和LSTM（长短期记忆）

image.png

5. 图解LSTM

image.png

6. 从未来中获取信息

image.png

7. 双向循环神经网络 （BRNN）

image.png

8. 深度RNN示例

image.png