自然语言推断：微调BERT

:label:sec_natural-language-inference-bert

在本章的前面几节中，我们已经为SNLI数据集（ :numref:sec_natural-language-inference-and-dataset）上的自然语言推断任务设计了一个基于注意力的结构（ :numref:sec_natural-language-inference-attention）。现在，我们通过微调BERT来重新审视这项任务。正如在 :numref:sec_finetuning-bert中讨论的那样，自然语言推断是一个序列级别的文本对分类问题，而微调BERT只需要一个额外的基于多层感知机的架构，如 :numref:fig_nlp-map-nli-bert中所示。

将预训练BERT提供给基于多层感知机的自然语言推断架构 :label:fig_nlp-map-nli-bert

在本节中，我们将下载一个预训练好的小版本的BERT，然后对其进行微调，以便在SNLI数据集上进行自然语言推断。

```{.python .input} from d2l import mxnet as d2l import json import multiprocessing from mxnet import gluon, np, npx from mxnet.gluon import nn import os

npx.set_np()

  2. ```{.python .input}
  3. #@tab pytorch
  4. from d2l import torch as d2l
  5. import json
  6. import multiprocessing
  7. import torch
  8. from torch import nn
  9. import os

[加载预训练的BERT]

我们已经在 :numref:sec_bert-dataset和 :numref:sec_bert-pretrainingWikiText-2数据集上预训练BERT（请注意，原始的BERT模型是在更大的语料库上预训练的）。正如在 :numref:sec_bert-pretraining中所讨论的，原始的BERT模型有数以亿计的参数。在下面，我们提供了两个版本的预训练的BERT：“bert.base”与原始的BERT基础模型一样大，需要大量的计算资源才能进行微调，而“bert.small”是一个小版本，以便于演示。

```{.python .input} d2l.DATA_HUB[‘bert.base’] = (d2l.DATA_URL + ‘bert.base.zip’, ‘7b3820b35da691042e5d34c0971ac3edbd80d3f4’) d2l.DATA_HUB[‘bert.small’] = (d2l.DATA_URL + ‘bert.small.zip’, ‘a4e718a47137ccd1809c9107ab4f5edd317bae2c’)

  2. ```{.python .input}
  3. #@tab pytorch
  4. d2l.DATA_HUB['bert.base'] = (d2l.DATA_URL + 'bert.base.torch.zip',
  5.                              '225d66f04cae318b841a13d32af3acc165f253ac')
  6. d2l.DATA_HUB['bert.small'] = (d2l.DATA_URL + 'bert.small.torch.zip',
  7.                               'c72329e68a732bef0452e4b96a1c341c8910f81f')

两个预训练好的BERT模型都包含一个定义词表的“vocab.json”文件和一个预训练参数的“pretrained.params”文件。我们实现了以下load_pretrained_model函数来[加载预先训练好的BERT参数]。

```{.python .input} def load_pretrained_model(pretrained_model, num_hiddens, ffn_num_hiddens, num_heads, num_layers, dropout, max_len, devices): data_dir = d2l.download_extract(pretrained_model)

  1. # 定义空词表以加载预定义词表
  2. vocab = d2l.Vocab()
  3. vocab.idx_to_token = json.load(open(os.path.join(data_dir,
  4.      'vocab.json')))
  5. vocab.token_to_idx = {token: idx for idx, token in enumerate(
  6.     vocab.idx_to_token)}
  7. bert = d2l.BERTModel(len(vocab), num_hiddens, ffn_num_hiddens, 
  8.                      num_heads, num_layers, dropout, max_len)
  9. # 加载预训练BERT参数
  10. bert.load_parameters(os.path.join(data_dir, 'pretrained.params'),
  11.                      ctx=devices)
  12. return bert, vocab
  2. ```{.python .input}
  3. #@tab pytorch
  4. def load_pretrained_model(pretrained_model, num_hiddens, ffn_num_hiddens,
  5.                           num_heads, num_layers, dropout, max_len, devices):
  6.     data_dir = d2l.download_extract(pretrained_model)
  7.     # 定义空词表以加载预定义词表
  8.     vocab = d2l.Vocab()
  9.     vocab.idx_to_token = json.load(open(os.path.join(data_dir, 
  10.         'vocab.json')))
  11.     vocab.token_to_idx = {token: idx for idx, token in enumerate(
  12.         vocab.idx_to_token)}
  13.     bert = d2l.BERTModel(len(vocab), num_hiddens, norm_shape=[256],
  14.                          ffn_num_input=256, ffn_num_hiddens=ffn_num_hiddens,
  15.                          num_heads=4, num_layers=2, dropout=0.2,
  16.                          max_len=max_len, key_size=256, query_size=256,
  17.                          value_size=256, hid_in_features=256,
  18.                          mlm_in_features=256, nsp_in_features=256)
  19.     # 加载预训练BERT参数
  20.     bert.load_state_dict(torch.load(os.path.join(data_dir,
  21.                                                  'pretrained.params')))
  22.     return bert, vocab

为了便于在大多数机器上演示，我们将在本节中加载和微调经过预训练BERT的小版本（“bert.small”）。在练习中，我们将展示如何微调大得多的“bert.base”以显著提高测试精度。

```{.python .input}

@tab all

devices = d2l.try_all_gpus() bert, vocab = load_pretrained_model( ‘bert.small’, num_hiddens=256, ffn_num_hiddens=512, num_heads=4, num_layers=2, dropout=0.1, max_len=512, devices=devices)

  2. ## [**微调BERT的数据集**]
  4. 对于SNLI数据集的下游任务自然语言推断，我们定义了一个定制的数据集类`SNLIBERTDataset`。在每个样本中，前提和假设形成一对文本序列，并被打包成一个BERT输入序列，如 :numref:`fig_bert-two-seqs`所示。回想 :numref:`subsec_bert_input_rep`，片段索引用于区分BERT输入序列中的前提和假设。利用预定义的BERT输入序列的最大长度（`max_len`），持续移除输入文本对中较长文本的最后一个标记，直到满足`max_len`。为了加速生成用于微调BERT的SNLI数据集，我们使用4个工作进程并行生成训练或测试样本。
  6. ```{.python .input}
  7. class SNLIBERTDataset(gluon.data.Dataset):
  8.     def __init__(self, dataset, max_len, vocab=None):
  9.         all_premise_hypothesis_tokens = [[
  10.             p_tokens, h_tokens] for p_tokens, h_tokens in zip(
  11.             *[d2l.tokenize([s.lower() for s in sentences])
  12.               for sentences in dataset[:2]])]
  14.         self.labels = np.array(dataset[2])
  15.         self.vocab = vocab
  16.         self.max_len = max_len
  17.         (self.all_token_ids, self.all_segments,
  18.          self.valid_lens) = self._preprocess(all_premise_hypothesis_tokens)
  19.         print('read ' + str(len(self.all_token_ids)) + ' examples')
  21.     def _preprocess(self, all_premise_hypothesis_tokens):
  22.         pool = multiprocessing.Pool(4)  # 使用4个进程
  23.         out = pool.map(self._mp_worker, all_premise_hypothesis_tokens)
  24.         all_token_ids = [
  25.             token_ids for token_ids, segments, valid_len in out]
  26.         all_segments = [segments for token_ids, segments, valid_len in out]
  27.         valid_lens = [valid_len for token_ids, segments, valid_len in out]
  28.         return (np.array(all_token_ids, dtype='int32'),
  29.                 np.array(all_segments, dtype='int32'), 
  30.                 np.array(valid_lens))
  32.     def _mp_worker(self, premise_hypothesis_tokens):
  33.         p_tokens, h_tokens = premise_hypothesis_tokens
  34.         self._truncate_pair_of_tokens(p_tokens, h_tokens)
  35.         tokens, segments = d2l.get_tokens_and_segments(p_tokens, h_tokens)
  36.         token_ids = self.vocab[tokens] + [self.vocab['<pad>']] \
  37.                              * (self.max_len - len(tokens))
  38.         segments = segments + [0] * (self.max_len - len(segments))
  39.         valid_len = len(tokens)
  40.         return token_ids, segments, valid_len
  42.     def _truncate_pair_of_tokens(self, p_tokens, h_tokens):
  43.         # 为BERT输入中的'<CLS>'、'<SEP>'和'<SEP>'词元保留位置
  44.         while len(p_tokens) + len(h_tokens) > self.max_len - 3:
  45.             if len(p_tokens) > len(h_tokens):
  46.                 p_tokens.pop()
  47.             else:
  48.                 h_tokens.pop()
  50.     def __getitem__(self, idx):
  51.         return (self.all_token_ids[idx], self.all_segments[idx],
  52.                 self.valid_lens[idx]), self.labels[idx]
  54.     def __len__(self):
  55.         return len(self.all_token_ids)

```{.python .input}

@tab pytorch

class SNLIBERTDataset(torch.utils.data.Dataset): def init(self, dataset, max_len, vocab=None): all_premise_hypothesis_tokens = [[ p_tokens, h_tokens] for p_tokens, h_tokens in zip( *[d2l.tokenize([s.lower() for s in sentences]) for sentences in dataset[:2]])]

  1.     self.labels = torch.tensor(dataset[2])
  2.     self.vocab = vocab
  3.     self.max_len = max_len
  4.     (self.all_token_ids, self.all_segments,
  5.      self.valid_lens) = self._preprocess(all_premise_hypothesis_tokens)
  6.     print('read ' + str(len(self.all_token_ids)) + ' examples')
  8. def _preprocess(self, all_premise_hypothesis_tokens):
  9.     pool = multiprocessing.Pool(4)  # 使用4个进程
  10.     out = pool.map(self._mp_worker, all_premise_hypothesis_tokens)
  11.     all_token_ids = [
  12.         token_ids for token_ids, segments, valid_len in out]
  13.     all_segments = [segments for token_ids, segments, valid_len in out]
  14.     valid_lens = [valid_len for token_ids, segments, valid_len in out]
  15.     return (torch.tensor(all_token_ids, dtype=torch.long),
  16.             torch.tensor(all_segments, dtype=torch.long), 
  17.             torch.tensor(valid_lens))
  19. def _mp_worker(self, premise_hypothesis_tokens):
  20.     p_tokens, h_tokens = premise_hypothesis_tokens
  21.     self._truncate_pair_of_tokens(p_tokens, h_tokens)
  22.     tokens, segments = d2l.get_tokens_and_segments(p_tokens, h_tokens)
  23.     token_ids = self.vocab[tokens] + [self.vocab['<pad>']] \
  24.                          * (self.max_len - len(tokens))
  25.     segments = segments + [0] * (self.max_len - len(segments))
  26.     valid_len = len(tokens)
  27.     return token_ids, segments, valid_len
  29. def _truncate_pair_of_tokens(self, p_tokens, h_tokens):
  30.     # 为BERT输入中的'<CLS>'、'<SEP>'和'<SEP>'词元保留位置
  31.     while len(p_tokens) + len(h_tokens) > self.max_len - 3:
  32.         if len(p_tokens) > len(h_tokens):
  33.             p_tokens.pop()
  34.         else:
  35.             h_tokens.pop()
  37. def __getitem__(self, idx):
  38.     return (self.all_token_ids[idx], self.all_segments[idx],
  39.             self.valid_lens[idx]), self.labels[idx]
  41. def __len__(self):
  42.     return len(self.all_token_ids)
  2. 下载完SNLI数据集后，我们通过实例化`SNLIBERTDataset`类来[**生成训练和测试样本**]。这些样本将在自然语言推断的训练和测试期间进行小批量读取。
  4. ```{.python .input}
  5. # 如果出现显存不足错误，请减少“batch_size”。在原始的BERT模型中，max_len=512
  6. batch_size, max_len, num_workers = 512, 128, d2l.get_dataloader_workers()
  7. data_dir = d2l.download_extract('SNLI')
  8. train_set = SNLIBERTDataset(d2l.read_snli(data_dir, True), max_len, vocab)
  9. test_set = SNLIBERTDataset(d2l.read_snli(data_dir, False), max_len, vocab)
  10. train_iter = gluon.data.DataLoader(train_set, batch_size, shuffle=True,
  11.                                    num_workers=num_workers)
  12. test_iter = gluon.data.DataLoader(test_set, batch_size,
  13.                                   num_workers=num_workers)

```{.python .input}

@tab pytorch

如果出现显存不足错误，请减少“batch_size”。在原始的BERT模型中，max_len=512

batch_size, max_len, num_workers = 512, 128, d2l.get_dataloader_workers() data_dir = d2l.download_extract(‘SNLI’) train_set = SNLIBERTDataset(d2l.read_snli(data_dir, True), max_len, vocab) test_set = SNLIBERTDataset(d2l.read_snli(data_dir, False), max_len, vocab) train_iter = torch.utils.data.DataLoader(train_set, batch_size, shuffle=True, num_workers=num_workers) test_iter = torch.utils.data.DataLoader(test_set, batch_size, num_workers=num_workers)

  2. ## 微调BERT
  4. 如 :numref:`fig_bert-two-seqs`所示，用于自然语言推断的微调BERT只需要一个额外的多层感知机，该多层感知机由两个全连接层组成（请参见下面`BERTClassifier`类中的`self.hidden`和`self.output`）。[**这个多层感知机将特殊的“&lt;cls&gt;”词元**]的BERT表示进行了转换，该词元同时编码前提和假设的信息(**为自然语言推断的三个输出**)：蕴涵、矛盾和中性。
  6. ```{.python .input}
  7. class BERTClassifier(nn.Block):
  8.     def __init__(self, bert):
  9.         super(BERTClassifier, self).__init__()
  10.         self.encoder = bert.encoder
  11.         self.hidden = bert.hidden
  12.         self.output = nn.Dense(3)
  14.     def forward(self, inputs):
  15.         tokens_X, segments_X, valid_lens_x = inputs
  16.         encoded_X = self.encoder(tokens_X, segments_X, valid_lens_x)
  17.         return self.output(self.hidden(encoded_X[:, 0, :]))

```{.python .input}

@tab pytorch

class BERTClassifier(nn.Module): def init(self, bert): super(BERTClassifier, self).init() self.encoder = bert.encoder self.hidden = bert.hidden self.output = nn.Linear(256, 3)

  1. def forward(self, inputs):
  2.     tokens_X, segments_X, valid_lens_x = inputs
  3.     encoded_X = self.encoder(tokens_X, segments_X, valid_lens_x)
  4.     return self.output(self.hidden(encoded_X[:, 0, :]))
  2. 在下文中，预训练的BERT模型`bert`被送到用于下游应用的`BERTClassifier`实例`net`中。在BERT微调的常见实现中，只有额外的多层感知机（`net.output`）的输出层的参数将从零开始学习。预训练BERT编码器（`net.encoder`）和额外的多层感知机的隐藏层（`net.hidden`）的所有参数都将进行微调。
  4. ```{.python .input}
  5. net = BERTClassifier(bert)
  6. net.output.initialize(ctx=devices)

```{.python .input}

@tab pytorch

net = BERTClassifier(bert)

  2. 回想一下，在 :numref:`sec_bert`中，`MaskLM`类和`NextSentencePred`类在其使用的多层感知机中都有一些参数。这些参数是预训练BERT模型`bert`中参数的一部分，因此是`net`中的参数的一部分。然而，这些参数仅用于计算预训练过程中的遮蔽语言模型损失和下一句预测损失。这两个损失函数与微调下游应用无关，因此当BERT微调时，`MaskLM`和`NextSentencePred`中采用的多层感知机的参数不会更新（陈旧的，staled）。
  4. 为了允许具有陈旧梯度的参数，标志`ignore_stale_grad=True`在`step`函数`d2l.train_batch_ch13`中被设置。我们通过该函数使用SNLI的训练集（`train_iter`）和测试集（`test_iter`）对`net`模型进行训练和评估。。由于计算资源有限，[**训练**]和测试精度可以进一步提高：我们把对它的讨论留在练习中。
  6. ```{.python .input}
  7. lr, num_epochs = 1e-4, 5
  8. trainer = gluon.Trainer(net.collect_params(), 'adam', {'learning_rate': lr})
  9. loss = gluon.loss.SoftmaxCrossEntropyLoss()
  10. d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, 
  11.     devices, d2l.split_batch_multi_inputs)

```{.python .input}

@tab pytorch

lr, num_epochs = 1e-4, 5 trainer = torch.optim.Adam(net.parameters(), lr=lr) loss = nn.CrossEntropyLoss(reduction=’none’) d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices) ```

小结

  • 我们可以针对下游应用对预训练的BERT模型进行微调，例如在SNLI数据集上进行自然语言推断。
  • 在微调过程中，BERT模型成为下游应用模型的一部分。仅与训练前损失相关的参数在微调期间不会更新。

练习

  1. 如果您的计算资源允许，请微调一个更大的预训练BERT模型，该模型与原始的BERT基础模型一样大。修改load_pretrained_model函数中的参数设置：将“bert.small”替换为“bert.base”，将num_hiddens=256、ffn_num_hiddens=512、num_heads=4和num_layers=2的值分别增加到768、3072、12和12。通过增加微调迭代轮数（可能还会调优其他超参数），你可以获得高于0.86的测试精度吗？
  2. 如何根据一对序列的长度比值截断它们？将此对截断方法与SNLIBERTDataset类中使用的方法进行比较。它们的利弊是什么？

:begin_tab:mxnet Discussions :end_tab:

:begin_tab:pytorch Discussions :end_tab: