• https://www.youtube.com/watch?v=EC3SvfW0Z_A

• RNN ：循环神经网络
• LSTM：RNN的优化版本

• 略

• 略

• 略

• 略

• 略

• 不同的是前一个时间点的结果也作为输入参数穿到本次结果.

• 略

• RNN的不足：时间序列长度问题（记忆能力有限）

• RNN的不足：传统的RNN很难稳定训练（使用导数方式）。

• LSTM能够解决上述痛点。
• LSTM让每一个运算变得复杂。

• 多出来的概念：
  • Forget Gate
  • Input Gate
  • Current State
  • Output Layer

• 加一些东西，定义要不要记住，有什么前提条件等等.（背后设计理念理解就可以）
• 常用的是LSTM和GRU（Gated Recurrent Unit）.

• 应用场景
  • input不是Sequence，Output是序列的.
    • 譬如输入图片，输出文字。
  • input是Sequence，Output是Single level.
    • 譬如视频分类，图片分类，财经分析。
  • input是Sequence，Output是Sequence
    • 语音翻译，中文翻译成英文。

• NLP自然语言处理

• 语音识别.

• 看完一个视频，生成一句话描述这个视频

• 视频分类.

• 程序自动写诗.

• 推荐阅读.