双向循环网络

例子

考虑文本续写：

• 我_。
• 我_饿了。
• 我_饿了，我可以吃半头猪

不同长度的上下文范围重要性是相同的
RNN只看过去，在填空的时候我们也看未来

隐马尔可夫模型中的动态规划

有助于我们思考为什么要使用深度学习， 以及为什么要选择特定的架构。

隐马尔可夫模型

双向模型

一个前向RNN 隐层
一个后向RNN隐藏
合并隐状态得到输出

实现方式：
后向：把输入反向传递到正常计算的框架
再把输出反向就是对应的后向结果

定义

模型的计算代价及其应用

关键特性：
双向循环神经网络的一个关键特性是：使用来自序列两端的信息来估计输出
如果没有未来信息，不能预测下一个词
主要作用是对句子作特征提取