本节将介绍另一种常用的门控循环神经网络：长短期记忆（long short-term memory，LSTM）[1]。它比门控循环单元的结构稍微复杂一点。

6.8.1 长短期记忆

LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。

6.8.1.1 输入门、遗忘门和输出门

与门控循环单元中的重置门和更新门一样，如图6.7所示，长短期记忆的门的输入均为当前时间步输入6.8 长短期记忆（LSTM） - 图1与上一时间步隐藏状态6.8 长短期记忆（LSTM） - 图2，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，这3个门元素的值域均为6.8 长短期记忆（LSTM） - 图3。

6.8_lstm_0.svg

具体来说，假设隐藏单元个数为6.8 长短期记忆（LSTM） - 图5，给定时间步6.8 长短期记忆（LSTM） - 图6的小批量输入6.8 长短期记忆（LSTM） - 图7（样本数为6.8 长短期记忆（LSTM） - 图8，输入个数为6.8 长短期记忆（LSTM） - 图9）和上一时间步隐藏状态6.8 长短期记忆（LSTM） - 图10。
时间步6.8 长短期记忆（LSTM） - 图11的输入门6.8 长短期记忆（LSTM） - 图12、遗忘门6.8 长短期记忆（LSTM） - 图13和输出门6.8 长短期记忆（LSTM） - 图14分别计算如下：

6.8 长短期记忆（LSTM） - 图15%2C%5C%5C%0A%5Cboldsymbol%7BF%7Dt%20%26%3D%20%5Csigma(%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxf%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhf%7D%20%2B%20%5Cboldsymbol%7Bb%7Df)%2C%5C%5C%0A%5Cboldsymbol%7BO%7D_t%20%26%3D%20%5Csigma(%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxo%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bho%7D%20%2B%20%5Cboldsymbol%7Bb%7Do)%2C%0A%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%5Cboldsymbol%7BI%7D_t%20%26%3D%20%5Csigma%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxi%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhi%7D%20%2B%20%5Cboldsymbol%7Bb%7Di%29%2C%5C%5C%0A%5Cboldsymbol%7BF%7D_t%20%26%3D%20%5Csigma%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxf%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhf%7D%20%2B%20%5Cboldsymbol%7Bb%7Df%29%2C%5C%5C%0A%5Cboldsymbol%7BO%7D_t%20%26%3D%20%5Csigma%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxo%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bho%7D%20%2B%20%5Cboldsymbol%7Bb%7D_o%29%2C%0A%5Cend%7Baligned%7D%0A)

其中的6.8 长短期记忆（LSTM） - 图16和6.8 长短期记忆（LSTM） - 图17是权重参数，6.8 长短期记忆（LSTM） - 图18是偏差参数。

6.8.1.2 候选记忆细胞

接下来，长短期记忆需要计算候选记忆细胞6.8 长短期记忆（LSTM） - 图19。它的计算与上面介绍的3个门类似，但使用了值域在6.8 长短期记忆（LSTM） - 图20的tanh函数作为激活函数，如图6.8所示。

6.8_lstm_1.svg

具体来说，时间步6.8 长短期记忆（LSTM） - 图22的候选记忆细胞6.8 长短期记忆（LSTM） - 图23的计算为

6.8 长短期记忆（LSTM） - 图24%2C%0A#card=math&code=%5Ctilde%7B%5Cboldsymbol%7BC%7D%7Dt%20%3D%20%5Ctext%7Btanh%7D%28%5Cboldsymbol%7BX%7D_t%20%5Cboldsymbol%7BW%7D%7Bxc%7D%20%2B%20%5Cboldsymbol%7BH%7D%7Bt-1%7D%20%5Cboldsymbol%7BW%7D%7Bhc%7D%20%2B%20%5Cboldsymbol%7Bb%7D_c%29%2C%0A)

其中6.8 长短期记忆（LSTM） - 图25和6.8 长短期记忆（LSTM） - 图26是权重参数，6.8 长短期记忆（LSTM） - 图27是偏差参数。

6.8.1.3 记忆细胞

我们可以通过元素值域在6.8 长短期记忆（LSTM） - 图28的输入门、遗忘门和输出门来控制隐藏状态中信息的流动，这一般也是通过使用按元素乘法（符号为6.8 长短期记忆（LSTM） - 图29）来实现的。当前时间步记忆细胞6.8 长短期记忆（LSTM） - 图30的计算组合了上一时间步记忆细胞和当前时间步候选记忆细胞的信息，并通过遗忘门和输入门来控制信息的流动：

6.8 长短期记忆（LSTM） - 图31

如图6.9所示，遗忘门控制上一时间步的记忆细胞6.8 长短期记忆（LSTM） - 图32中的信息是否传递到当前时间步，而输入门则控制当前时间步的输入6.8 长短期记忆（LSTM） - 图33通过候选记忆细胞6.8 长短期记忆（LSTM） - 图34如何流入当前时间步的记忆细胞。如果遗忘门一直近似1且输入门一直近似0，过去的记忆细胞将一直通过时间保存并传递至当前时间步。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系。

6.8_lstm_2.svg

6.8.1.4 隐藏状态

有了记忆细胞以后，接下来我们还可以通过输出门来控制从记忆细胞到隐藏状态6.8 长短期记忆（LSTM） - 图36的信息的流动：

6.8 长短期记忆（LSTM） - 图37.%0A#card=math&code=%5Cboldsymbol%7BH%7D_t%20%3D%20%5Cboldsymbol%7BO%7D_t%20%5Codot%20%5Ctext%7Btanh%7D%28%5Cboldsymbol%7BC%7D_t%29.%0A)

这里的tanh函数确保隐藏状态元素值在-1到1之间。需要注意的是，当输出门近似1时，记忆细胞信息将传递到隐藏状态供输出层使用；当输出门近似0时，记忆细胞信息只自己保留。图6.10展示了长短期记忆中隐藏状态的计算。

6.8_lstm_3.svg

6.8.2 读取数据集

下面我们开始实现并展示长短期记忆。和前几节中的实验一样，这里依然使用周杰伦歌词数据集来训练模型作词。

  1. import numpy as np
  2. import torch
  3. from torch import nn, optim
  4. import torch.nn.functional as F
  6. import sys
  7. sys.path.append("..") 
  8. import d2lzh_pytorch as d2l
  9. device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  11. (corpus_indices, char_to_idx, idx_to_char, vocab_size) = d2l.load_data_jay_lyrics()

6.8.3 从零开始实现

我们先介绍如何从零开始实现长短期记忆。

6.8.3.1 初始化模型参数

下面的代码对模型参数进行初始化。超参数num_hiddens定义了隐藏单元的个数。

  1. num_inputs, num_hiddens, num_outputs = vocab_size, 256, vocab_size
  2. print('will use', device)
  4. def get_params():
  5.     def _one(shape):
  6.         ts = torch.tensor(np.random.normal(0, 0.01, size=shape), device=device, dtype=torch.float32)
  7.         return torch.nn.Parameter(ts, requires_grad=True)
  8.     def _three():
  9.         return (_one((num_inputs, num_hiddens)),
  10.                 _one((num_hiddens, num_hiddens)),
  11.                 torch.nn.Parameter(torch.zeros(num_hiddens, device=device, dtype=torch.float32), requires_grad=True))
  13.     W_xi, W_hi, b_i = _three()  # 输入门参数
  14.     W_xf, W_hf, b_f = _three()  # 遗忘门参数
  15.     W_xo, W_ho, b_o = _three()  # 输出门参数
  16.     W_xc, W_hc, b_c = _three()  # 候选记忆细胞参数
  18.     # 输出层参数
  19.     W_hq = _one((num_hiddens, num_outputs))
  20.     b_q = torch.nn.Parameter(torch.zeros(num_outputs, device=device, dtype=torch.float32), requires_grad=True)
  21.     return nn.ParameterList([W_xi, W_hi, b_i, W_xf, W_hf, b_f, W_xo, W_ho, b_o, W_xc, W_hc, b_c, W_hq, b_q])

6.8.4 定义模型

在初始化函数中，长短期记忆的隐藏状态需要返回额外的形状为(批量大小, 隐藏单元个数)的值为0的记忆细胞。

  1. def init_lstm_state(batch_size, num_hiddens, device):
  2.     return (torch.zeros((batch_size, num_hiddens), device=device), 
  3.             torch.zeros((batch_size, num_hiddens), device=device))

下面根据长短期记忆的计算表达式定义模型。需要注意的是，只有隐藏状态会传递到输出层，而记忆细胞不参与输出层的计算。

  1. def lstm(inputs, state, params):
  2.     [W_xi, W_hi, b_i, W_xf, W_hf, b_f, W_xo, W_ho, b_o, W_xc, W_hc, b_c, W_hq, b_q] = params
  3.     (H, C) = state
  4.     outputs = []
  5.     for X in inputs:
  6.         I = torch.sigmoid(torch.matmul(X, W_xi) + torch.matmul(H, W_hi) + b_i)
  7.         F = torch.sigmoid(torch.matmul(X, W_xf) + torch.matmul(H, W_hf) + b_f)
  8.         O = torch.sigmoid(torch.matmul(X, W_xo) + torch.matmul(H, W_ho) + b_o)
  9.         C_tilda = torch.tanh(torch.matmul(X, W_xc) + torch.matmul(H, W_hc) + b_c)
  10.         C = F * C + I * C_tilda
  11.         H = O * C.tanh()
  12.         Y = torch.matmul(H, W_hq) + b_q
  13.         outputs.append(Y)
  14.     return outputs, (H, C)

6.8.4.1 训练模型并创作歌词

同上一节一样，我们在训练模型时只使用相邻采样。设置好超参数后，我们将训练模型并根据前缀“分开”和“不分开”分别创作长度为50个字符的一段歌词。

  1. num_epochs, num_steps, batch_size, lr, clipping_theta = 160, 35, 32, 1e2, 1e-2
  2. pred_period, pred_len, prefixes = 40, 50, ['分开', '不分开']

我们每过40个迭代周期便根据当前训练的模型创作一段歌词。

  1. d2l.train_and_predict_rnn(lstm, get_params, init_lstm_state, num_hiddens,
  2.                           vocab_size, device, corpus_indices, idx_to_char,
  3.                           char_to_idx, False, num_epochs, num_steps, lr,
  4.                           clipping_theta, batch_size, pred_period, pred_len,
  5.                           prefixes)

输出：

  1. epoch 40, perplexity 211.416571, time 1.37 sec
  2.  - 分开 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我
  3.  - 不分开 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我 我不的我
  4. epoch 80, perplexity 67.048346, time 1.35 sec
  5.  - 分开 我想你你 我不要再想 我不要这我 我不要这我 我不要这我 我不要这我 我不要这我 我不要这我 我不
  6.  - 不分开 我想你你想你 我不要这不样 我不要这我 我不要这我 我不要这我 我不要这我 我不要这我 我不要这我
  7. epoch 120, perplexity 15.552743, time 1.36 sec
  8.  - 分开 我想带你的微笑 像这在 你想我 我想你 说你我 说你了 说给怎么么 有你在空 你在在空 在你的空 
  9.  - 不分开 我想要你已经堡 一样样 说你了 我想就这样着你 不知不觉 你已了离开活 后知后觉 我该了这生活 我
  10. epoch 160, perplexity 4.274031, time 1.35 sec
  11.  - 分开 我想带你 你不一外在半空 我只能够远远著她 这些我 你想我难难头 一话看人对落我一望望我 我不那这
  12.  - 不分开 我想你这生堡 我知好烦 你不的节我 后知后觉 我该了这节奏 后知后觉 又过了一个秋 后知后觉 我该

6.8.5 简洁实现

在Gluon中我们可以直接调用rnn模块中的LSTM类。

  1. lr = 1e-2 # 注意调整学习率
  2. lstm_layer = nn.LSTM(input_size=vocab_size, hidden_size=num_hiddens)
  3. model = d2l.RNNModel(lstm_layer, vocab_size)
  4. d2l.train_and_predict_rnn_pytorch(model, num_hiddens, vocab_size, device,
  5.                                 corpus_indices, idx_to_char, char_to_idx,
  6.                                 num_epochs, num_steps, lr, clipping_theta,
  7.                                 batch_size, pred_period, pred_len, prefixes)

输出：

  1. epoch 40, perplexity 1.020401, time 1.54 sec
  2.  - 分开始想担 妈跟我 一定是我妈在 因为分手前那句抱歉 在感动 穿梭时间的画面的钟 从反方向开始移动 回到
  3.  - 不分开始想像 妈跟我 我将我的寂寞封闭 然后在这里 不限日期 然后将过去 慢慢温习 让我爱上你 那场悲剧 
  4. epoch 80, perplexity 1.011164, time 1.34 sec
  5.  - 分开始想担 你的 从前的可爱女人 温柔的让我心疼的可爱女人 透明的让我感动的可爱女人 坏坏的让我疯狂的可
  6.  - 不分开 我满了 让我疯狂的可爱女人 漂亮的让我面红的可爱女人 温柔的让我心疼的可爱女人 透明的让我感动的可
  7. epoch 120, perplexity 1.025348, time 1.39 sec
  8.  - 分开始共渡每一天 手牵手 一步两步三步四步望著天 看星星 一颗两颗三颗四颗 连成线背著背默默许下心愿 看
  9.  - 不分开 我不懂 说了没用 他的笑容 有何不同 在你心中 我不再受宠 我的天空 是雨是风 还是彩虹 你在操纵
  10. epoch 160, perplexity 1.017492, time 1.42 sec
  11.  - 分开始乡相信命运 感谢地心引力 让我碰到你 漂亮的让我面红的可爱女人 温柔的让我心疼的可爱女人 透明的让
  12.  - 不分开 我不能再想 我不 我不 我不能 爱情走的太快就像龙卷风 不能承受我已无处可躲 我不要再想 我不要再

小结

  • 长短期记忆的隐藏层输出包括隐藏状态和记忆细胞。只有隐藏状态会传递到输出层。
  • 长短期记忆的输入门、遗忘门和输出门可以控制信息的流动。
  • 长短期记忆可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系。

参考文献

[1] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.

注：除代码外本节与原书此节基本相同，原书传送门