上一节介绍了循环神经网络中的梯度计算方法。我们发现，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。

门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络 [1, 2]。另一种常用的门控循环神经网络则将在下一节中介绍。

6.7.1 门控循环单元

下面将介绍门控循环单元的设计。它引入了重置门（reset gate）和更新门（update gate）的概念，从而修改了循环神经网络中隐藏状态的计算方式。

6.7.1.1 重置门和更新门

如图6.4所示，门控循环单元中的重置门和更新门的输入均为当前时间步输入6.7 门控循环单元（GRU） - 图1与上一时间步隐藏状态6.7 门控循环单元（GRU） - 图2，输出由激活函数为sigmoid函数的全连接层计算得到。

6.7_gru_1.svg

具体来说，假设隐藏单元个数为6.7 门控循环单元（GRU） - 图4，给定时间步6.7 门控循环单元（GRU） - 图5的小批量输入6.7 门控循环单元（GRU） - 图6（样本数为6.7 门控循环单元（GRU） - 图7，输入个数为6.7 门控循环单元（GRU） - 图8）和上一时间步隐藏状态6.7 门控循环单元（GRU） - 图9。重置门6.7 门控循环单元（GRU） - 图10和更新门6.7 门控循环单元（GRU） - 图11的计算如下：

6.7 门控循环单元（GRU） - 图12%2C%5C%5C%0A%5Cboldsymbol%7BZ%7Dt%20%3D%20%5Csigma(%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxz%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhz%7D%20%2B%20%5Cboldsymbol%7Bb%7Dz)%2C%0A%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%5Cboldsymbol%7BR%7D_t%20%3D%20%5Csigma%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxr%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhr%7D%20%2B%20%5Cboldsymbol%7Bb%7Dr%29%2C%5C%5C%0A%5Cboldsymbol%7BZ%7D_t%20%3D%20%5Csigma%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxz%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhz%7D%20%2B%20%5Cboldsymbol%7Bb%7D_z%29%2C%0A%5Cend%7Baligned%7D%0A)

其中6.7 门控循环单元（GRU） - 图13和6.7 门控循环单元（GRU） - 图14是权重参数，6.7 门控循环单元（GRU） - 图15是偏差参数。3.8节（多层感知机）节中介绍过，sigmoid函数可以将元素的值变换到0和1之间。因此，重置门6.7 门控循环单元（GRU） - 图16和更新门6.7 门控循环单元（GRU） - 图17中每个元素的值域都是6.7 门控循环单元（GRU） - 图18。

6.7.1.2 候选隐藏状态

接下来，门控循环单元将计算候选隐藏状态来辅助稍后的隐藏状态计算。如图6.5所示，我们将当前时间步重置门的输出与上一时间步隐藏状态做按元素乘法（符号为6.7 门控循环单元（GRU） - 图19）。如果重置门中元素值接近0，那么意味着重置对应隐藏状态元素为0，即丢弃上一时间步的隐藏状态。如果元素值接近1，那么表示保留上一时间步的隐藏状态。然后，将按元素乘法的结果与当前时间步的输入连结，再通过含激活函数tanh的全连接层计算出候选隐藏状态，其所有元素的值域为6.7 门控循环单元（GRU） - 图20。

6.7_gru_2.svg

具体来说，时间步6.7 门控循环单元（GRU） - 图22的候选隐藏状态6.7 门控循环单元（GRU） - 图23的计算为

6.7 门控循环单元（GRU） - 图24%20%5Cboldsymbol%7BW%7D%7Bhh%7D%20%2B%20%5Cboldsymbol%7Bb%7D_h)%2C%0A#card=math&code=%5Ctilde%7B%5Cboldsymbol%7BH%7D%7D_t%20%3D%20%5Ctext%7Btanh%7D%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxh%7D%20%2B%20%5Cleft%28%5Cboldsymbol%7BR%7Dt%20%5Codot%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%5Cright%29%20%5Cboldsymbol%7BW%7D_%7Bhh%7D%20%2B%20%5Cboldsymbol%7Bb%7D_h%29%2C%0A)

其中6.7 门控循环单元（GRU） - 图25和6.7 门控循环单元（GRU） - 图26是权重参数，6.7 门控循环单元（GRU） - 图27是偏差参数。从上面这个公式可以看出，重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。而上一时间步的隐藏状态可能包含了时间序列截至上一时间步的全部历史信息。因此，重置门可以用来丢弃与预测无关的历史信息。

6.7.1.3 隐藏状态

最后，时间步6.7 门控循环单元（GRU） - 图28的隐藏状态6.7 门控循环单元（GRU） - 图29的计算使用当前时间步的更新门6.7 门控循环单元（GRU） - 图30来对上一时间步的隐藏状态6.7 门控循环单元（GRU） - 图31和当前时间步的候选隐藏状态6.7 门控循环单元（GRU） - 图32做组合：

6.7 门控循环单元（GRU） - 图33%20%5Codot%20%5Ctilde%7B%5Cboldsymbol%7BH%7D%7Dt.%0A#card=math&code=%5Cboldsymbol%7BH%7D_t%20%3D%20%5Cboldsymbol%7BZ%7D_t%20%5Codot%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%20%2B%20%281%20-%20%5Cboldsymbol%7BZ%7D_t%29%20%5Codot%20%5Ctilde%7B%5Cboldsymbol%7BH%7D%7D_t.%0A)

6.7_gru_3.svg

值得注意的是，更新门可以控制隐藏状态应该如何被包含当前时间步信息的候选隐藏状态所更新，如图6.6所示。假设更新门在时间步6.7 门控循环单元（GRU） - 图35到6.7 门控循环单元（GRU） - 图36（6.7 门控循环单元（GRU） - 图37）之间一直近似1。那么，在时间步6.7 门控循环单元（GRU） - 图38到6.7 门控循环单元（GRU） - 图39之间的输入信息几乎没有流入时间步6.7 门控循环单元（GRU） - 图40的隐藏状态6.7 门控循环单元（GRU） - 图41。实际上，这可以看作是较早时刻的隐藏状态6.7 门控循环单元（GRU） - 图42一直通过时间保存并传递至当前时间步6.7 门控循环单元（GRU） - 图43。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系。

我们对门控循环单元的设计稍作总结：

  • 重置门有助于捕捉时间序列里短期的依赖关系；
  • 更新门有助于捕捉时间序列里长期的依赖关系。

6.7.2 读取数据集

为了实现并展示门控循环单元，下面依然使用周杰伦歌词数据集来训练模型作词。这里除门控循环单元以外的实现已在6.2节（循环神经网络）中介绍过。以下为读取数据集部分。

  1. import numpy as np
  2. import torch
  3. from torch import nn, optim
  4. import torch.nn.functional as F
  6. import sys
  7. sys.path.append("..") 
  8. import d2lzh_pytorch as d2l
  9. device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  11. (corpus_indices, char_to_idx, idx_to_char, vocab_size) = d2l.load_data_jay_lyrics()

6.7.3 从零开始实现

我们先介绍如何从零开始实现门控循环单元。

6.7.3.1 初始化模型参数

下面的代码对模型参数进行初始化。超参数num_hiddens定义了隐藏单元的个数。

  1. num_inputs, num_hiddens, num_outputs = vocab_size, 256, vocab_size
  2. print('will use', device)
  4. def get_params():
  5.     def _one(shape):
  6.         ts = torch.tensor(np.random.normal(0, 0.01, size=shape), device=device, dtype=torch.float32)
  7.         return torch.nn.Parameter(ts, requires_grad=True)
  8.     def _three():
  9.         return (_one((num_inputs, num_hiddens)),
  10.                 _one((num_hiddens, num_hiddens)),
  11.                 torch.nn.Parameter(torch.zeros(num_hiddens, device=device, dtype=torch.float32), requires_grad=True))
  13.     W_xz, W_hz, b_z = _three()  # 更新门参数
  14.     W_xr, W_hr, b_r = _three()  # 重置门参数
  15.     W_xh, W_hh, b_h = _three()  # 候选隐藏状态参数
  17.     # 输出层参数
  18.     W_hq = _one((num_hiddens, num_outputs))
  19.     b_q = torch.nn.Parameter(torch.zeros(num_outputs, device=device, dtype=torch.float32), requires_grad=True)
  20.     return nn.ParameterList([W_xz, W_hz, b_z, W_xr, W_hr, b_r, W_xh, W_hh, b_h, W_hq, b_q])

6.7.3.2 定义模型

下面的代码定义隐藏状态初始化函数init_gru_state。同6.4节（循环神经网络的从零开始实现）中定义的init_rnn_state函数一样，它返回由一个形状为(批量大小, 隐藏单元个数)的值为0的Tensor组成的元组。

  1. def init_gru_state(batch_size, num_hiddens, device):
  2.     return (torch.zeros((batch_size, num_hiddens), device=device), )

下面根据门控循环单元的计算表达式定义模型。

  1. def gru(inputs, state, params):
  2.     W_xz, W_hz, b_z, W_xr, W_hr, b_r, W_xh, W_hh, b_h, W_hq, b_q = params
  3.     H, = state
  4.     outputs = []
  5.     for X in inputs:
  6.         Z = torch.sigmoid(torch.matmul(X, W_xz) + torch.matmul(H, W_hz) + b_z)
  7.         R = torch.sigmoid(torch.matmul(X, W_xr) + torch.matmul(H, W_hr) + b_r)
  8.         H_tilda = torch.tanh(torch.matmul(X, W_xh) + torch.matmul(R * H, W_hh) + b_h)
  9.         H = Z * H + (1 - Z) * H_tilda
  10.         Y = torch.matmul(H, W_hq) + b_q
  11.         outputs.append(Y)
  12.     return outputs, (H,)

6.7.3.3 训练模型并创作歌词

我们在训练模型时只使用相邻采样。设置好超参数后，我们将训练模型并根据前缀“分开”和“不分开”分别创作长度为50个字符的一段歌词。

  1. num_epochs, num_steps, batch_size, lr, clipping_theta = 160, 35, 32, 1e2, 1e-2
  2. pred_period, pred_len, prefixes = 40, 50, ['分开', '不分开']

我们每过40个迭代周期便根据当前训练的模型创作一段歌词。

  1. d2l.train_and_predict_rnn(gru, get_params, init_gru_state, num_hiddens,
  2.                           vocab_size, device, corpus_indices, idx_to_char,
  3.                           char_to_idx, False, num_epochs, num_steps, lr,
  4.                           clipping_theta, batch_size, pred_period, pred_len,
  5.                           prefixes)

输出：

  1. epoch 40, perplexity 149.477598, time 1.08 sec
  2.  - 分开 我不不你 我想你你的爱我 你不你的让我 你不你的让我 你不你的让我 你不你的让我 你不你的让我 你
  3.  - 不分开 我想你你的让我 你不你的让我 你不你的让我 你不你的让我 你不你的让我 你不你的让我 你不你的让我
  4. epoch 80, perplexity 31.689210, time 1.10 sec
  5.  - 分开 我想要你 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不
  6.  - 不分开 我想要你 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不要再想 我不
  7. epoch 120, perplexity 4.866115, time 1.08 sec
  8.  - 分开 我想要这样牵着你的手不放开 爱过 让我来的肩膀 一起好酒 你来了这节秋 后知后觉 我该好好生活 我
  9.  - 不分开 你已经不了我不要 我不要再想你 我不要再想你 我不要再想你 不知不觉 我跟了这节奏 后知后觉 又过
  10. epoch 160, perplexity 1.442282, time 1.51 sec
  11.  - 分开 我一定好生忧 唱着歌 一直走 我想就这样牵着你的手不放开 爱可不可以简简单单没有伤害 你 靠着我的
  12.  - 不分开 你已经离开我 不知不觉 我跟了这节奏 后知后觉 又过了一个秋 后知后觉 我该好好生活 我该好好生活

6.7.4 简洁实现

在PyTorch中我们直接调用nn模块中的GRU类即可。

  1. lr = 1e-2 # 注意调整学习率
  2. gru_layer = nn.GRU(input_size=vocab_size, hidden_size=num_hiddens)
  3. model = d2l.RNNModel(gru_layer, vocab_size).to(device)
  4. d2l.train_and_predict_rnn_pytorch(model, num_hiddens, vocab_size, device,
  5.                                 corpus_indices, idx_to_char, char_to_idx,
  6.                                 num_epochs, num_steps, lr, clipping_theta,
  7.                                 batch_size, pred_period, pred_len, prefixes)

输出：

  1. epoch 40, perplexity 1.022157, time 1.02 sec
  2.  - 分开手牵手 一步两步三步四步望著天 看星星 一颗两颗三颗四颗 连成线背著背默默许下心愿 看远方的星是否听
  3.  - 不分开暴风圈来不及逃 我不能再想 我不能再想 我不 我不 我不能 爱情走的太快就像龙卷风 不能承受我已无处
  4. epoch 80, perplexity 1.014535, time 1.04 sec
  5.  - 分开始想像 爸和妈当年的模样 说著一口吴侬软语的姑娘缓缓走过外滩 消失的 旧时光 一九四三 在回忆 的路
  6.  - 不分开始爱像  不知不觉 你已经离开我 不知不觉 我跟了这节奏 后知后觉 又过了一个秋 后知后觉 我该好好
  7. epoch 120, perplexity 1.147843, time 1.04 sec
  8.  - 分开都靠我 你拿着球不投 又不会掩护我 选你这种队友 瞎透了我 说你说 分数怎么停留 所有回忆对着我进攻
  9.  - 不分开球我有多烦恼多 牧草有没有危险 一场梦 我面对我 甩开球我满腔的怒火 我想揍你已经很久 别想躲 说你
  10. epoch 160, perplexity 1.018370, time 1.05 sec
  11.  - 分开爱上你 那场悲剧 是你完美演出的一场戏 宁愿心碎哭泣 再狠狠忘记 你爱过我的证据 让晶莹的泪滴 闪烁
  12.  - 不分开始 担心今天的你过得好不好 整个画面是你 想你想的睡不著 嘴嘟嘟那可爱的模样 还有在你身上香香的味道

小结

  • 门控循环神经网络可以更好地捕捉时间序列中时间步距离较大的依赖关系。
  • 门控循环单元引入了门的概念，从而修改了循环神经网络中隐藏状态的计算方式。它包括重置门、更新门、候选隐藏状态和隐藏状态。
  • 重置门有助于捕捉时间序列里短期的依赖关系。
  • 更新门有助于捕捉时间序列里长期的依赖关系。

参考文献

[1] Cho, K., Van Merriënboer, B., Bahdanau, D., & Bengio, Y. (2014). On the properties of neural machine translation: Encoder-decoder approaches. arXiv preprint arXiv:1409.1259.

[2] Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555.

注：除代码外本节与原书此节基本相同，原书传送门