4.2 循环神经网络

一、有隐状态的循环神经网络

二、困惑度
通过一个序列中所有的nn个词元的交叉熵损失的平均值来衡量：

RNN中常用指数：

小结

• 对隐状态使用循环计算的神经网络称为循环神经网络（RNN）。
• 循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。
• 循环神经网络模型的参数数量不会随着时间步的增加而增加。
• 我们可以使用循环神经网络创建字符级语言模型。
• 我们可以使用困惑度来评价语言模型的质量。