1. 序列数据应用示例(语音识别、音乐生成、情感分类、DNA序列分析、机器翻译、视频活动识别、命名实体识别)

image.png

2. 序列模型中的标记法(notation):如,x^<1>表示样本x的第一个元素

image.png

3. 词的表示方法(one-hot编码,即,独热编码)

image.png

4. 为什么不使用标准网络(全连接网)?

因为全连接网有两个问题:
(1)输入、输出层在不同的样本中长度不一定相同(如,不同句子的长度显然会有不同)
(2)不同位置的文本不能共享特征(主句暂时不能理解)
image.png

5. 循环神经网络模型(RNN)中不存在上述两个问题

image.png

6. RNN前向传播过程

image.png

7. 简化的RNN标记法(类似分块矩阵)

image.png