语言模型，RNN和LSTM

语言模型，RNN和LSTM

语言模型

语言模型是一种计算在一个特定序列出现的概率的模型，对于m个单词 $NLP04-LM&RNN&LSTM - 图1$ ，它们同时出现并且连成一句话的概率是 $NLP04-LM&RNN&LSTM - 图2$ #card=math&code=P%28w_1%2C%5Cdots%2Cw_n%29)，很明显单词之间出现的概率不是完全独立的，也就是说一些单词的出现会和句子中的其他单词有关，因此这个概率是比较难计算的，根据条件概率公式可以表示为：

$NLP04-LM&RNN&LSTM - 图3$ %7D%2C%5Cdots%2Cx%5E%7B(t)%7D)%3DP(x%5E%7B(1)%7D)%5Ctimes%20P(x%5E%7B(2)%7D%7Cx%5E%7B(1)%7D)%5Ctimes%5Cdots%5Ctimes%20P(x%5E%7B(t)%7D%7Cx%5E%7B(1)%7D%2C%5Cdots%2Cx%5E%7B(t-1)%7D)%3D%5Cprod%7Bi%3D1%7D%5EtP(x%5E%7B(i)%7D%7Cx%5E%7B(1)%7D%2C%5Cdots%2Cx%5E%7B(i-1)%7D)%0A#card=math&code=P%28x%5E%7B%281%29%7D%2C%5Cdots%2Cx%5E%7B%28t%29%7D%29%3DP%28x%5E%7B%281%29%7D%29%5Ctimes%20P%28x%5E%7B%282%29%7D%7Cx%5E%7B%281%29%7D%29%5Ctimes%5Cdots%5Ctimes%20P%28x%5E%7B%28t%29%7D%7Cx%5E%7B%281%29%7D%2C%5Cdots%2Cx%5E%7B%28t-1%29%7D%29%3D%5Cprod%7Bi%3D1%7D%5EtP%28x%5E%7B%28i%29%7D%7Cx%5E%7B%281%29%7D%2C%5Cdots%2Cx%5E%7B%28i-1%29%7D%29%0A)

我们可以做出这样一个简化问题假设(也叫做马尔可夫假设)：一个单词出现的概率依赖于出现在它前面的n个单词，这样一来这个概率可以表示为：

$NLP04-LM&RNN&LSTM - 图4$ %3D%5Cprod%7Bi%3D1%7D%5E%7Bi%3Dm%7D%20P%5Cleft(w%7Bi%7D%20%5Cmid%20w%7B1%7D%2C%20%5Cldots%2C%20w%7Bi-1%7D%5Cright)%20%5Capprox%20%5Cprod%7Bi%3D1%7D%5E%7Bi%3Dm%7D%20P%5Cleft(w%7Bi%7D%20%5Cmid%20w%7Bi-n%7D%2C%20%5Cldots%2C%20w%7Bi-1%7D%5Cright)%0A#card=math&code=P%5Cleft%28w%7B1%7D%2C%20%5Cldots%2C%20w%7Bm%7D%5Cright%29%3D%5Cprod%7Bi%3D1%7D%5E%7Bi%3Dm%7D%20P%5Cleft%28w%7Bi%7D%20%5Cmid%20w%7B1%7D%2C%20%5Cldots%2C%20w%7Bi-1%7D%5Cright%29%20%5Capprox%20%5Cprod%7Bi%3D1%7D%5E%7Bi%3Dm%7D%20P%5Cleft%28w%7Bi%7D%20%5Cmid%20w%7Bi-n%7D%2C%20%5Cldots%2C%20w%7Bi-1%7D%5Cright%29%0A)

这个表达式在机器翻译中有比较大的作用，翻译系统在完成句子的翻译之后实际上会生成多种不同的结果，这个时候就可以使用语言模型来对每一种结果进行评估，一般来说语义不通顺的句子计算出的概率会比较低，而语义通顺的句子计算出的概率会比较高，这样一来就可以选择概率最高的一个作为翻译的结果。

n-gram语言模型

因此要获得一个语言模型，我们需要对每一组连续n个单词进行出现频率的计算，这就是n-gram语言模型，比如说对于一个2-gram的语言模型，我们可以这样计算：

$NLP04-LM&RNN&LSTM - 图5$ %3D%5Cfrac%7B%5Cmathrm%7Bcount%7D(w_1%2C%20w_2)%7D%7B%5Cmathrm%7Bcount%7D(w_1)%7D%0A#card=math&code=p%28w_2%7Cw_1%29%3D%5Cfrac%7B%5Cmathrm%7Bcount%7D%28w_1%2C%20w_2%29%7D%7B%5Cmathrm%7Bcount%7D%28w_1%29%7D%0A)

通过大量文本获得了统计信息之后，n-gram就可以根据前n个单词来预测出当前位置单词的出现概率分布，并选择出现概率最大的作为预测结果，这样一来就导致了语言模型存在的两个问题：

n-gram语言模型可能会非常稀疏，因为一些单词组合可能永远也不会在训练样本中出现，我们可以用smoothing的方法来解决这一问题，也就是说不管有没有出现过我们都算这个组合至少出现了 $NLP04-LM&RNN&LSTM - 图6$ 次
随着n的增长，n-gram语言模型需要的存储空间也会越来越大，并且这一复杂度是指数规模的

基于窗口的神经语言模型

基于窗口的神经网络语言模型可以学习出单词的分布式表示和计算序列出现概率的函数，它的基本结构如下所示：

NLP04-LM&RNN&LSTM - 图7 {width=”75%”}

这个模型可以用下面这个表达式来表示：

$NLP04-LM&RNN&LSTM - 图8$ %7D%20%5Ctanh%20%5Cleft(W%5E%7B(1)%7D%20x%2Bb%5E%7B(1)%7D%5Cright)%2BW%5E%7B(3)%7D%20x%2Bb%5E%7B(3)%7D%5Cright)%0A#card=math&code=%5Chat%7By%7D%3D%5Coperatorname%7Bsoftmax%7D%5Cleft%28W%5E%7B%282%29%7D%20%5Ctanh%20%5Cleft%28W%5E%7B%281%29%7D%20x%2Bb%5E%7B%281%29%7D%5Cright%29%2BW%5E%7B%283%29%7D%20x%2Bb%5E%7B%283%29%7D%5Cright%29%0A)

其中第一个矩阵作用在词向量上(图中的绿色实线)，第二个矩阵作用在隐层，第三个矩阵作用在词向量上(图中的绿色虚线)，这个模型虽然简单但是也能够起到比较好的performance，

上面提到的这些语言模型实际上只是基于有限长度的滑动窗口的卷积模型，但事实上，窗口比较小的时候模型预测的准确度也是无法保证的，而窗口大了又会导致参数的规模急剧增长，因此我们需要一个可以处理任意长度的输入，并且参数规模维持在一定范围内的新模型。

循环神经网络RNN

RNN的架构

和只能给予一个有限长度的滑动窗口不同，卷积翻译模型不同，循环神经网络(Recurrent
Neural Networks)是可以根据语料库中所有之前出现过的额单词来调整模型，RNN的基本组成单元如下图所示：

NLP04-LM&RNN&LSTM - 图9 {width=”75%”}

每个神经网络单元(也称为timestep)会对输入的词嵌入向量 $NLP04-LM&RNN&LSTM - 图10$ 进行一个矩阵运算，并且对上一个位置的单元传递下来的 $NLP04-LM&RNN&LSTM - 图11$ 进行运算以后相加得到 $NLP04-LM&RNN&LSTM - 图12$ 传递给下一个单元，然后对 $NLP04-LM&RNN&LSTM - 图13$ 使用非线性函数激活和sotfmax函数之后输出一个概率分布 $NLP04-LM&RNN&LSTM - 图14$ 作为当前单元的输出：

$NLP04-LM&RNN&LSTM - 图15$ %7D%20h%7Bt-1%7D%2BW%5E%7B(h%20x)%7D%20x%7Bt%7D%5Cright)%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%7By%7D%7Bt%7D%3D%5Coperatorname%7Bsoftmax%7D%5Cleft(W%5E%7B(S)%7D%20h%7Bt%7D%5Cright)%0A%5Cend%7Barray%7D%0A#card=math&code=%5Cbegin%7Barray%7D%7Bc%7D%0A%20%20%20%20%20%20%20%20h%7Bt%7D%3D%5Csigma%5Cleft%28W%5E%7B%28h%20h%29%7D%20h%7Bt-1%7D%2BW%5E%7B%28h%20x%29%7D%20x%7Bt%7D%5Cright%29%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%7By%7D%7Bt%7D%3D%5Coperatorname%7Bsoftmax%7D%5Cleft%28W%5E%7B%28S%29%7D%20h_%7Bt%7D%5Cright%29%0A%5Cend%7Barray%7D%0A)

并且权重矩阵 $NLP04-LM&RNN&LSTM - 图16$ %7D%2CW%5E%7B(hx)%7D#card=math&code=W%5E%7B%28hh%29%7D%2CW%5E%7B%28hx%29%7D)在不同的timestep之间时共享的，这样一来一个RNN模型需要学习的参数数量是比较少的，并且和输入语料库的长度是没有无关的，不仅避免了参数的维度爆炸，而且可以处理任意长度的输入结果。

RNN的损失函数

RNN的损失函数通常采用交叉熵来计算，对于第t个timestep，其交叉熵可以表示为：

$NLP04-LM&RNN&LSTM - 图17$ %7D(%5Ctheta)%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%20y%7Bt%2C%20j%7D%20%5Ctimes%20%5Clog%20%5Cleft(%5Chat%7By%7D%7Bt%2C%20j%7D%5Cright)%0A#card=math&code=J%5E%7B%28t%29%7D%28%5Ctheta%29%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%20y%7Bt%2C%20j%7D%20%5Ctimes%20%5Clog%20%5Cleft%28%5Chat%7By%7D%7Bt%2C%20j%7D%5Cright%29%0A)

这样一来总的交叉熵就可以表示为：

$NLP04-LM&RNN&LSTM - 图18$ %3D%5Cfrac%201T%20%5Csum%7Bi%3D1%7D%5E%7BT%7DJ%5E%7B(t)%7D(%5Ctheta)%3D-%5Cfrac%201T%20%5Csum%7Bi%3D1%7D%5E%7BT%7D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%20y%7Bt%2C%20j%7D%20%5Ctimes%20%5Clog%20%5Cleft(%5Chat%7By%7D%7Bt%2C%20j%7D%5Cright)%0A#card=math&code=J%28%5Ctheta%29%3D%5Cfrac%201T%20%5Csum%7Bi%3D1%7D%5E%7BT%7DJ%5E%7B%28t%29%7D%28%5Ctheta%29%3D-%5Cfrac%201T%20%5Csum%7Bi%3D1%7D%5E%7BT%7D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%20y%7Bt%2C%20j%7D%20%5Ctimes%20%5Clog%20%5Cleft%28%5Chat%7By%7D%7Bt%2C%20j%7D%5Cright%29%0A)

根据损失函数就可以对RNN中的权重矩阵进行优化，这里采用的仍然是梯度下降和反向传播的方法，但是要注意的是，RNN的反向传播实际上是根据时间的反向传播，也就是按照timestep的顺序从后往前传播，具体的公式后面有空进一步推导。

RNN的反向传播

我们可以对上面的RNN表达式进行一定的修改，并假设激活函数 $NLP04-LM&RNN&LSTM - 图19$ %3D%5Ctanh(x)#card=math&code=%5Csigma%28x%29%3D%5Ctanh%28x%29)，这样一来RNN中的一系列计算可以分解成如下几个步骤：

$NLP04-LM&RNN&LSTM - 图20$ %5C%5C%0A%20%20%20%20%20%20%20%20zt%26%3DVh_t%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%20y_t%26%3D%5Cmathrm%7Bsoftmax%7D(z_t)%0A%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20s_t%26%3DUh%7Bt-1%7D%2BWx_t%5C%5C%0A%20%20%20%20%20%20%20%20h_t%26%3D%5Ctanh%28s_t%29%5C%5C%0A%20%20%20%20%20%20%20%20z_t%26%3DVh_t%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%20y_t%26%3D%5Cmathrm%7Bsoftmax%7D%28z_t%29%0A%5Cend%7Baligned%7D%0A)

这里x是d维的词嵌入向量，而h是维度为 $NLP04-LM&RNN&LSTM - 图21$ 的隐藏状态，最终输出的结果z和y是维度为 $NLP04-LM&RNN&LSTM - 图22$ 的列向量，损失函数采用的就是上面提出的J，这样一来我们可以根据反向传播算法，通过J来更新 $NLP04-LM&RNN&LSTM - 图23$ 等等，推导的具体过程如下：

首先我们需要注意到，softmax函数可以写成：

$NLP04-LM&RNN&LSTM - 图24$

而softmax函数关于 $NLP04-LM&RNN&LSTM - 图25$ 的导数可以写成：

$NLP04-LM&RNN&LSTM - 图26$ %5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20f_i%7D%7B%5Cpartial%20x_j%7D%26%3Df_i(1-f_i)(j%20%3D%20i)%0A%20%20%20%20%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20f_i%7D%7B%5Cpartial%20x_j%7D%26%3D-f_if_j%28j%5Cnot%3D%20i%29%5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20f_i%7D%7B%5Cpartial%20x_j%7D%26%3Df_i%281-f_i%29%28j%20%3D%20i%29%0A%20%20%20%20%5Cend%7Baligned%7D%0A)

这样一来，可以先求出损失函数对于 $NLP04-LM&RNN&LSTM - 图27$ 的梯度：

$NLP04-LM&RNN&LSTM - 图28$ %7D%7B%5Cpartial%20zi%7D%26%3D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7B%5Cpartial%20J(%5Ctheta)%7D%7B%5Cpartial%20%5Chat%20y%7Bt%2Cj%7D%7D%5Cfrac%7B%5Cpartial%20%5Chat%20y%7Bt%2Cj%7D%7D%7B%5Cpartial%20zi%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7By%7Bt%2Cj%7D%7D%7B%5Chat%20y%7Bt%2Cj%7D%7D%5Cfrac%7B%5Cpartial%5Chat%20y%7Bt%2Cj%7D%7D%7B%5Cpartial%20z_i%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7By%7Bt%2Cj%7D%7D%7B%5Chat%20y%7Bt%2Cj%7D%7D(%5Chat%20y%7Bt%2Cj%7D%5Chat%20y%7Bt%2Ci%7D)%2B%5Cfrac%7By%7Bt%2Ci%7D%7D%7B%5Chat%20y%7Bt%2Ci%7D%7D(%5Chat%20y%7Bt%2Cj%7D%5Chat%20y%7Bt%2Ci%7D%2B(1-%5Chat%20y%7Bt%2Ci%7D)%5Chat%20y%7Bt%2Ci%7D)%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Chat%20y%7Bt%2Ci%7D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7Dy%7Bt%2Cj%7D-y%7Bt%2Cj%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Chat%20y%7Bt%2Ci%7D-y%7Bt%2Ci%7D%0A%20%20%20%20%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20J%28%5Ctheta%29%7D%7B%5Cpartial%20zi%7D%26%3D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7B%5Cpartial%20J%28%5Ctheta%29%7D%7B%5Cpartial%20%5Chat%20y%7Bt%2Cj%7D%7D%5Cfrac%7B%5Cpartial%20%5Chat%20y%7Bt%2Cj%7D%7D%7B%5Cpartial%20zi%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7By%7Bt%2Cj%7D%7D%7B%5Chat%20y%7Bt%2Cj%7D%7D%5Cfrac%7B%5Cpartial%5Chat%20y%7Bt%2Cj%7D%7D%7B%5Cpartial%20z_i%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D-%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7D%5Cfrac%7By%7Bt%2Cj%7D%7D%7B%5Chat%20y%7Bt%2Cj%7D%7D%28%5Chat%20y%7Bt%2Cj%7D%5Chat%20y%7Bt%2Ci%7D%29%2B%5Cfrac%7By%7Bt%2Ci%7D%7D%7B%5Chat%20y%7Bt%2Ci%7D%7D%28%5Chat%20y%7Bt%2Cj%7D%5Chat%20y%7Bt%2Ci%7D%2B%281-%5Chat%20y%7Bt%2Ci%7D%29%5Chat%20y%7Bt%2Ci%7D%29%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Chat%20y%7Bt%2Ci%7D%5Csum%7Bj%3D1%7D%5E%7B%7CV%7C%7Dy%7Bt%2Cj%7D-y%7Bt%2Cj%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Chat%20y%7Bt%2Ci%7D-y%7Bt%2Ci%7D%0A%20%20%20%20%5Cend%7Baligned%7D%0A)

这样一来E对于z的梯度就是一个 $NLP04-LM&RNN&LSTM - 图29$ 维的向量并且每一项都是上面这样的形式(随着下标的变化而变化)，这里 $NLP04-LM&RNN&LSTM - 图30$ 表示预测结果，是一个概率分布，而 $NLP04-LM&RNN&LSTM - 图31$ 则是正确结果的one-hot向量，因此上述步骤可以成立，这样一来，V的梯度更新可以表示为：

$NLP04-LM&RNN&LSTM - 图32$ %7D%7B%5Cpartial%20V%7D%3D(%5Chat%20y%7Bt%2Ci%7D-y%7Bt%2Ci%7D)%5Cotimes%20ht%0A#card=math&code=%5Cfrac%7B%5Cpartial%20J%28%5Ctheta%29%7D%7B%5Cpartial%20V%7D%3D%28%5Chat%20y%7Bt%2Ci%7D-y_%7Bt%2Ci%7D%29%5Cotimes%20h_t%0A)

同样类似地可以得到：

$NLP04-LM&RNN&LSTM - 图33$ %7D%7BU%7D%3D%5Csum%7Bi%3D1%7D%5E%7Bt%7D%5Cdelta%7Bi%7D%5Cotimes%20h%7Bi-1%7D%0A#card=math&code=%5Cfrac%7B%5Cpartial%20J%28%5Ctheta%29%7D%7BU%7D%3D%5Csum%7Bi%3D1%7D%5E%7Bt%7D%5Cdelta%7Bi%7D%5Cotimes%20h%7Bi-1%7D%0A)

$NLP04-LM&RNN&LSTM - 图34$ %7D%7BW%7D%3D%5Csum%7Bi%3D1%7D%5E%7Bt%7D%5Cdelta%7Bi%7D%5Cotimes%20x%7Bi%7D%0A#card=math&code=%5Cfrac%7B%5Cpartial%20J%28%5Ctheta%29%7D%7BW%7D%3D%5Csum%7Bi%3D1%7D%5E%7Bt%7D%5Cdelta%7Bi%7D%5Cotimes%20x%7Bi%7D%0A)

其中

$NLP04-LM&RNN&LSTM - 图35$ )%5Ctimes%20(1-h_t%5E2)(k%5Cle%20t)%0A#card=math&code=%5Cdelta_k%3D%28U%5ET%28%5Chat%20y_t-y_t%29%29%5Ctimes%20%281-h_t%5E2%29%28k%5Cle%20t%29%0A)

并且

$NLP04-LM&RNN&LSTM - 图36$ )%5Ctimes%20(1-h_t%5E2)(k%5Cle%20t)%0A#card=math&code=%5Cdelta_t%3D%28V%5ET%28%5Chat%20y_t-y_t%29%29%5Ctimes%20%281-h_t%5E2%29%28k%5Cle%20t%29%0A)

RNN的优缺点

RNN的优点主要有如下几个：

RNN可以处理任意长度的输入
RNN模型的size不会随着输入的语料库长度变化而变化
某个timestep计算得到的结果理论上可以在后面的很多timestep中被用到
因为每个timestep的权重是相同的，因此RNN模型具有一定的对称性

但是同时，RNN的缺点也是很明显的：

RNN是一个序列化的模型，因此RNN不能进行并行的训练
事实上随着timestep的推移，前面的信息越来越难以被保留下来，可能存在梯度消失和梯度爆炸的问题

梯度消失Vanishing Gradient

NLP04-LM&RNN&LSTM - 图37 {width=”75%”}

在RNN的反向传播过程中，参数需要根据其梯度来更新，而梯度需要用链式求导法则来进行计算，如果其中的一部分梯度非常小，可能会导致最终要求的梯度累积越来越小，造成梯度的消失。

$NLP04-LM&RNN&LSTM - 图38$ %7D%26%3D%5Csigma%20(Wh%20h%5E%7B(t-1)%7D%2BW_ee%5E%7B(t)%7D%2Bb_1)%5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20h%5E%7B(t)%7D%7D%7B%5Cpartial%20h%5E%7B(t-1)%7D%7D%26%3D%5Cmathrm%20%7Bdiag(%5Csigma’%20(W_h%20h%5E%7B(t-1)%7D%2BW_ee%5E%7B(t)%7D%2Bb_1))%7DW_h%5C%5C%0A%20%20%20%20%20%20%20%20%26%3DIW_h%3DW_h%5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20J%5E%7B(i)%7D(%5Ctheta)%7D%7B%5Cpartial%20h%5E%7B(j)%7D%7D%26%3D%5Cfrac%7B%5Cpartial%20J%5E%7B(i)%7D(%5Ctheta)%7D%7B%5Cpartial%20h%5E%7B(i)%7D%7D%5Cprod%20%7Bj%3Ct%5Cle%20i%7D%5Cfrac%7B%5Cpartial%20h%5E%7B(t)%7D%7D%7B%5Cpartial%20h%5E%7B(t-1)%7D%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Cfrac%7B%5Cpartial%20J%5E%7B(i)%7D(%5Ctheta)%7D%7B%5Cpartial%20h%5E%7B(i)%7D%7D%5Cprod%20%7Bj%3Ct%5Cle%20i%7DW_h%3D%5Cfrac%7B%5Cpartial%20J%5E%7B(i)%7D(%5Ctheta)%7D%7B%5Cpartial%20h%5E%7B(i)%7D%7DW_h%5E%7Bi-j%7D%0A%20%20%20%20%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20h%5E%7B%28t%29%7D%26%3D%5Csigma%20%28W_h%20h%5E%7B%28t-1%29%7D%2BW_ee%5E%7B%28t%29%7D%2Bb_1%29%5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20h%5E%7B%28t%29%7D%7D%7B%5Cpartial%20h%5E%7B%28t-1%29%7D%7D%26%3D%5Cmathrm%20%7Bdiag%28%5Csigma%27%20%28W_h%20h%5E%7B%28t-1%29%7D%2BW_ee%5E%7B%28t%29%7D%2Bb_1%29%29%7DW_h%5C%5C%0A%20%20%20%20%20%20%20%20%26%3DIW_h%3DW_h%5C%5C%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%20J%5E%7B%28i%29%7D%28%5Ctheta%29%7D%7B%5Cpartial%20h%5E%7B%28j%29%7D%7D%26%3D%5Cfrac%7B%5Cpartial%20J%5E%7B%28i%29%7D%28%5Ctheta%29%7D%7B%5Cpartial%20h%5E%7B%28i%29%7D%7D%5Cprod%20%7Bj%3Ct%5Cle%20i%7D%5Cfrac%7B%5Cpartial%20h%5E%7B%28t%29%7D%7D%7B%5Cpartial%20h%5E%7B%28t-1%29%7D%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Cfrac%7B%5Cpartial%20J%5E%7B%28i%29%7D%28%5Ctheta%29%7D%7B%5Cpartial%20h%5E%7B%28i%29%7D%7D%5Cprod%20_%7Bj%3Ct%5Cle%20i%7DW_h%3D%5Cfrac%7B%5Cpartial%20J%5E%7B%28i%29%7D%28%5Ctheta%29%7D%7B%5Cpartial%20h%5E%7B%28i%29%7D%7DW_h%5E%7Bi-j%7D%0A%20%20%20%20%5Cend%7Baligned%7D%0A)

而我们发现根据上面的推导，如果矩阵 $NLP04-LM&RNN&LSTM - 图39$ 的所有特征值都比较小的话可能会导致最终计算的结果非常小，而这就导致了梯度消失。梯度消失会导致反向传播算法失效，参数无法再更新下去。对于RNN来说通过多个timestep以后学习到持续的信息是比较困难的，因此一种新的模型LSTM被提出，这种模型使得神经网络拥有短暂的记忆能力。

梯度爆炸Exploding Gradient

同样的如果梯度过大也会使得参数的更新出现问题，因为梯度值过大导致反向传播更新的时候容易出现参数大幅度的更新，引起波动，这称之为bad update，可能会导致最终的计算结果是INF或者NAN

解决办法：Gradient Clipping，当梯度g的大小超过一个固定的阈值的时候，对g进行一定的压缩，防止梯度爆炸。因此LSTM被踢出用来解决梯度消失和梯度爆炸的问题。

双向RNN

前面介绍的RNN模型实际上只能把前面的单词信息传递给后面，信息的传递是单向的，而双向RNN则可以进行双向的信息传递，实现的方式也很简单，就是通过在隐层增加一系列神经元来进行反向的信息传递，如下图所示：\

NLP04-LM&RNN&LSTM - 图40 {width=”75%”}

而这一架构用公式可以表示为：

$NLP04-LM&RNN&LSTM - 图41$ %20%5C%5C%0A%20%20%20%20%20%20%20%20%5Coverleftarrow%7Bh%7D%7Bt%7D%3Df%5Cleft(%5Coverleftarrow%7BW%7D%20x%7Bt%7D%2B%5Coverleftarrow%7BV%7D%20%5Coverleftarrow%7Bh%7D%7Bt%2B1%7D%2B%5Coverleftarrow%7Bb%7D%5Cright)%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%7By%7D%7Bt%7D%3Dg%5Cleft(U%20h%7Bt%7D%2Bc%5Cright)%3Dg%5Cleft(U%5Cleft%5B%5Cvec%7Bh%7D%7Bt%7D%20%3B%20%5Coverleftarrow%7Bh%7D%7Bt%7D%5Cright%5D%2Bc%5Cright)%0A%20%20%20%20%5Cend%7Barray%7D%0A#card=math&code=%5Cbegin%7Barray%7D%7Bc%7D%0A%20%20%20%20%20%20%20%20%5Cvec%7Bh%7D%7Bt%7D%3Df%5Cleft%28%5Cvec%7BW%7D%20x%7Bt%7D%2B%5Cvec%7BV%7D%20%5Cvec%7Bh%7D%7Bt-1%7D%2B%5Cvec%7Bb%7D%5Cright%29%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Coverleftarrow%7Bh%7D%7Bt%7D%3Df%5Cleft%28%5Coverleftarrow%7BW%7D%20x%7Bt%7D%2B%5Coverleftarrow%7BV%7D%20%5Coverleftarrow%7Bh%7D%7Bt%2B1%7D%2B%5Coverleftarrow%7Bb%7D%5Cright%29%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Chat%7By%7D%7Bt%7D%3Dg%5Cleft%28U%20h%7Bt%7D%2Bc%5Cright%29%3Dg%5Cleft%28U%5Cleft%5B%5Cvec%7Bh%7D%7Bt%7D%20%3B%20%5Coverleftarrow%7Bh%7D_%7Bt%7D%5Cright%5D%2Bc%5Cright%29%0A%20%20%20%20%5Cend%7Barray%7D%0A)

同时RNN也可以有多层架构，这样的架构下，RNN的信息交互会更多，预测结果会更加准确。

NLP04-LM&RNN&LSTM - 图42

长短期记忆模型LSTM

门控循环单元

虽然理论上来说，RNN可以提取长期的，距离较远的单词依赖关系，但是实际训练过程中其实是难以实现的，因为计算机数值计算的有限精度导致了RNN存在梯度消失和梯度爆炸等问题，而门控循环单元(Gated recurrent units，GRU)的目的就是实现更加长持久性的对长依赖关系的记忆，在这种门控循环单元的作用下，使用 $NLP04-LM&RNN&LSTM - 图43$ #card=math&code=h%7Bt%7D%3Df%28h%7Bt-1%7D%2Cx_t%29)的这一个过程可以表示为：

$NLP04-LM&RNN&LSTM - 图44$ %7D%20x%7Bt%7D%2BU%5E%7B(z)%7D%20h%7Bt-1%7D%5Cright)%20%26%20%5Ctext%20%7B%20(Update%20gate)%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20r%7Bt%7D%20%26%20%3D%5Csigma%5Cleft(W%5E%7B(r)%7D%20x%7Bt%7D%2BU%5E%7B(r)%7D%20h%7Bt-1%7D%5Cright)%20%26%20%5Ctext%20%7B%20(Reset%20gate)%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctilde%7Bh%7D%7Bt%7D%20%26%20%3D%5Ctanh%20%5Cleft(r%7Bt%7D%20%5Ccirc%20U%20h%7Bt-1%7D%2BW%20x%7Bt%7D%5Cright)%20%26%20%5Ctext%20%7B%20(New%20memory)%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20h%7Bt%7D%20%26%20%3D%5Cleft(1-z%7Bt%7D%5Cright)%20%5Ccirc%20%5Ctilde%7Bh%7D%7Bt%7D%2Bz%7Bt%7D%20%5Ccirc%20h%7Bt-1%7D%20%26%20%5Ctext%20%7B%20(Hidden%20state)%20%7D%0A%20%20%20%20%5Cend%7Barray%7D%0A#card=math&code=%5Cbegin%7Barray%7D%7Brlr%7D%0A%20%20%20%20%20%20%20%20z%7Bt%7D%20%26%20%3D%5Csigma%5Cleft%28W%5E%7B%28z%29%7D%20x%7Bt%7D%2BU%5E%7B%28z%29%7D%20h%7Bt-1%7D%5Cright%29%20%26%20%5Ctext%20%7B%20%28Update%20gate%29%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20r%7Bt%7D%20%26%20%3D%5Csigma%5Cleft%28W%5E%7B%28r%29%7D%20x%7Bt%7D%2BU%5E%7B%28r%29%7D%20h%7Bt-1%7D%5Cright%29%20%26%20%5Ctext%20%7B%20%28Reset%20gate%29%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctilde%7Bh%7D%7Bt%7D%20%26%20%3D%5Ctanh%20%5Cleft%28r%7Bt%7D%20%5Ccirc%20U%20h%7Bt-1%7D%2BW%20x%7Bt%7D%5Cright%29%20%26%20%5Ctext%20%7B%20%28New%20memory%29%20%7D%20%5C%5C%0A%20%20%20%20%20%20%20%20h%7Bt%7D%20%26%20%3D%5Cleft%281-z%7Bt%7D%5Cright%29%20%5Ccirc%20%5Ctilde%7Bh%7D%7Bt%7D%2Bz%7Bt%7D%20%5Ccirc%20h_%7Bt-1%7D%20%26%20%5Ctext%20%7B%20%28Hidden%20state%29%20%7D%0A%20%20%20%20%5Cend%7Barray%7D%0A)

以上四个公式就是GRU的四个基本步骤，它们有着比较直观的解释性并且可以让模型对持久性信息和长依赖关系的解析更加到位，这四个步骤可以分别理解为：

重置门：重置信号 $NLP04-LM&RNN&LSTM - 图45$ 可以决定 $NLP04-LM&RNN&LSTM - 图46$ 对于 $NLP04-LM&RNN&LSTM - 图47$ 的重要性，如果发现没有啥关系，重置门有权利彻底消除过去的隐藏状态
更新门：更新信号 $NLP04-LM&RNN&LSTM - 图48$ 可以决定 $NLP04-LM&RNN&LSTM - 图49$ 对当前层究竟有多高的权重，以此来决定隐藏状态的最后结果相对于上一层的信息和这一层新的meemory的权重
新记忆生成：根据当前单元输入的 $NLP04-LM&RNN&LSTM - 图50$ 生成新的 $NLP04-LM&RNN&LSTM - 图51$
隐藏状态：最终按一定权重将新的记忆和上个单元传递下来的 $NLP04-LM&RNN&LSTM - 图52$ 组合

上面的这些过程可以用下面的这幅图来表示：\

NLP04-LM&RNN&LSTM - 图53 {width=”65%”}

不得不说CS224N的插图对于GRU的讲解还是非常清楚的，而GRU中我们主要需要学习的参数有6个矩阵，同样的也是用反向传播的算法来进行训练。

长短期记忆LSTM

长短期记忆模型(Long-Short-Term-Memories,LSTM)和门控循环单元略有区别，但也是用于保存长期记忆的一种复杂激活单元架构，如下图所示：\

NLP04-LM&RNN&LSTM - 图54 {width=”65%”}

NLP04-LM&RNN&LSTM - 图55 {width=”65%”}

这种架构下，隐藏层中主要进行的数学运算有：

$NLP04-LM&RNN&LSTM - 图56$ %7D%20x%7Bt%7D%2BU%5E%7B(i)%7D%20h%7Bt-1%7D%5Cright)%20%5Cquad%20%5Ctext%20%7B%20(Input%20gate)%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26f%7Bt%7D%3D%5Csigma%5Cleft(W%5E%7B(f)%7D%20x%7Bt%7D%2BU%5E%7B(f)%7D%20h%7Bt-1%7D%5Cright)%20%5Cquad%20%5Ctext%20%7B%20(Forget%20gate)%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26o%7Bt%7D%3D%5Csigma%5Cleft(W%5E%7B(o)%7D%20x%7Bt%7D%2BU%5E%7B(o)%7D%20h%7Bt-1%7D%5Cright)%20%5Cquad%20%5Ctext%20%7B%20(Output%2FExposure%20gate)%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%5Ctilde%7Bc%7D%7Bt%7D%3D%5Ctanh%20%5Cleft(W%5E%7B(c)%7D%20x%7Bt%7D%2BU%5E%7B(c)%7D%20h%7Bt-1%7D%5Cright)%20%5Cquad%20%5Ctext%20%7B%20(New%20memory%20cell)%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26c%7Bt%7D%3Df%7Bt%7D%20%5Ccirc%20c%7Bt-1%7D%2Bi%7Bt%7D%20%5Ccirc%20%5Ctilde%7Bc%7D%7Bt%7D%20%5Cquad%20%5Ctext%20%7B%20(Final%20memory%20cell)%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26h%7Bt%7D%3Do%7Bt%7D%20%5Ccirc%20%5Ctanh%20%5Cleft(c%7Bt%7D%5Cright)%0A%20%20%20%20%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%26i%7Bt%7D%3D%5Csigma%5Cleft%28W%5E%7B%28i%29%7D%20x%7Bt%7D%2BU%5E%7B%28i%29%7D%20h%7Bt-1%7D%5Cright%29%20%5Cquad%20%5Ctext%20%7B%20%28Input%20gate%29%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26f%7Bt%7D%3D%5Csigma%5Cleft%28W%5E%7B%28f%29%7D%20x%7Bt%7D%2BU%5E%7B%28f%29%7D%20h%7Bt-1%7D%5Cright%29%20%5Cquad%20%5Ctext%20%7B%20%28Forget%20gate%29%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26o%7Bt%7D%3D%5Csigma%5Cleft%28W%5E%7B%28o%29%7D%20x%7Bt%7D%2BU%5E%7B%28o%29%7D%20h%7Bt-1%7D%5Cright%29%20%5Cquad%20%5Ctext%20%7B%20%28Output%2FExposure%20gate%29%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%5Ctilde%7Bc%7D%7Bt%7D%3D%5Ctanh%20%5Cleft%28W%5E%7B%28c%29%7D%20x%7Bt%7D%2BU%5E%7B%28c%29%7D%20h%7Bt-1%7D%5Cright%29%20%5Cquad%20%5Ctext%20%7B%20%28New%20memory%20cell%29%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26c%7Bt%7D%3Df%7Bt%7D%20%5Ccirc%20c%7Bt-1%7D%2Bi%7Bt%7D%20%5Ccirc%20%5Ctilde%7Bc%7D%7Bt%7D%20%5Cquad%20%5Ctext%20%7B%20%28Final%20memory%20cell%29%20%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26h%7Bt%7D%3Do%7Bt%7D%20%5Ccirc%20%5Ctanh%20%5Cleft%28c_%7Bt%7D%5Cright%29%0A%20%20%20%20%5Cend%7Baligned%7D%0A)

LSTM中有若干个门，分别叫做输入门，输出门和遗忘门，起到一定的判断作用，用来判断LSTM中的一些信息是否值得保留，LSTM的计算过程可以描述为：

生成新记忆：根据上一个单元传入的 $NLP04-LM&RNN&LSTM - 图57$ 和当前位置的词向量 $NLP04-LM&RNN&LSTM - 图58$ 计算出一个结果 $NLP04-LM&RNN&LSTM - 图59$
输入门：根据上一个单元传入的 $NLP04-LM&RNN&LSTM - 图60$ 和当前位置的词向量 $NLP04-LM&RNN&LSTM - 图61$ 计算出一个结果 $NLP04-LM&RNN&LSTM - 图62$ ，并评估当前位置的单词 $NLP04-LM&RNN&LSTM - 图63$ 是否有用，并有必要在之后的计算中使用
遗忘门：根据上一个单元传入的 $NLP04-LM&RNN&LSTM - 图64$ 和当前位置的词向量 $NLP04-LM&RNN&LSTM - 图65$ 计算出一个结果 $NLP04-LM&RNN&LSTM - 图66$ ，并且评估上一个隐藏状态 $NLP04-LM&RNN&LSTM - 图67$ 是否有价值用在当前层的计算中
生成最终记忆：根据输入门和遗忘门的判断，并结合新的记忆单元和上一个传递过来的记忆单元的信息生成最终记忆
输出门：这是一个GRU中不存在的门，其目的是将最终的记忆单元和隐藏状态分开，因为最终生成的记忆单元有很多前文的信息是没有必要保存在当前隐藏状态中的，因此这一个单元决定了最终记忆 $NLP04-LM&RNN&LSTM - 图68$ 有多少内容需要暴露给 $NLP04-LM&RNN&LSTM - 图69$ ，根据这个权重来产生最终的隐藏状态

事实上LSTM相比于前面提到的GRU主要多出了一个输出门用来控制信息暴露给当前隐藏状态的程度，可以用下面一张图来表示LSTM的各个门之间的关系：\

NLP04-LM&RNN&LSTM - 图70 {width=”65%”}

LSTM如何解决梯度问题

LSTM的架构使得神经网络可以在许多timestep之后依然保存一些持久化的信息，可以通过改变门的开关达到保存信息的目的，但事实上，并没有彻底解决梯度消失和梯度爆炸的问题，但是让模型更容易学习到长距离的依赖关系，事实上梯度的消失和爆炸是所有神经网络架构都存在的问题，不仅仅是RNN