序列模型

语音、文本信息包括时序信息，数据在时间前后是存在依赖关系的，同一个字在不同的语义下表示的含义不同，同一个发音在不同语义下表示的单词也不同。对这类时序依赖信息进行建模采用的工具即为序列模型。

Autoregression Model

对于序列 ，假设 1) 当前 t 时刻输出完全依赖于 t 时刻之前的结果，即将由决定。

RNN

RNN 为了建模这种依赖关系：通过隐状态来编码历史信息。

GRU

GRU 是对 RNN 的改进，本质和 RNN 是相同的，采用隐状态编码历史信息。

LSTM

LSTM 是对 RNN 的改进，本质和 RNN 是相同的，采用隐状态编码历史信息。

Markov model

如果时序越长，那么这种依赖关系也会越长，直接进行建模较难，为了对其进行简化，假设 2）距离当前时刻较远的信息对当前时刻的影响越小，当前 t 时刻输出仅由决定（阶马尔可夫模型）