参考来源：
CSDN：在 Pytorch 中实现 early stopping

使用了这个 github 仓库中提供的 **spytorch_tools**，而且该仓库中还有这个工具的使用案例，建议读者前往查看。在此感谢作者的代码分享。

注意：不要使用 **pip install pytorchtools** 获取相关代码，这是不对的可以直接去上述的仓库里把其中的 **pytorchtools.py** 下载(或复制)下来并放置在项目中，这样就可以正常执行 **from pytorchtools import EarlyStopping** 并使用 EarlyStopping 了。

实现

有了 **pytorch_tools** 工具后，使用 **early stopping** 就很简单了。
先从该工具类中导入 **EarlyStopping** 。

  1. # import EarlyStopping
  2. from pytorchtools import EarlyStopping
  3. import torch.utils.data as Data    # 用于创建 DataLoader
  4. import torch.nn as nn

为了方便描述，这里还是会使用一些伪代码，如果你想阅读详细案例的话，不用犹豫直接看上述工具自带的案例代码。

  1. model = yourModel()    # 伪
  2. # 指定损失函数，可以是其他损失函数，根据训练要求决定
  3. criterion = nn.CrossEntropyLoss()    # 交叉熵，注意该损失函数对自动对批量样本的损失取平均
  4. # 指定优化器，可以是其他
  5. optimizer = torch.optim.Adam(model.parameters())
  6. # 初始化 early_stopping 对象
  7. patience = 20    # 当验证集损失在连续20次训练周期中都没有得到降低时，停止模型训练，以防止模型过拟合
  8. early_stopping = EarlyStopping(patience, verbose=True)    # 关于 EarlyStopping 的代码可先看博客后面的内容
  10. batch_size = 64    # 或其他，该参数属于超参，对于如何选择超参，你可以参考下我的上一篇博客
  11. n_epochs = 100    # 可以设置大一些，毕竟你是希望通过 early stopping 来结束模型训练
  12. #----------------------------------------------------------------
  13. # 训练模型，直到 epoch == n_epochs 或者触发 early_stopping 结束训练
  14. for epoch in range(1, n_epochs + 1):
  16.     # 建立训练数据的 DataLoader
  17.     training_dataset = Data.TensorDataset(X_train, y_train)
  18.     # 把dataset放到DataLoader中
  19.     data_loader = Data.DataLoader(
  20.         dataset=training_dataset,
  21.         batch_size=batch_size,    # 批量大小
  22.         shuffle=True    # 是否打乱数据顺序
  23.     )
  24.     #---------------------------------------------------
  25.     model.train()    # 设置模型为训练模式
  26.     # 按小批量训练
  27.     for batch, (data, target) in enumerate(data_loader):
  28.         optimizer.zero_grad()    # 清楚所有参数的梯度
  29.         output = model(data)    # 输出模型预测值
  30.         loss = criterion(output, target)    # 计算损失
  31.         loss.backward()    # 计算损失对于各个参数的梯度
  32.         optimizer.step()    # 执行单步优化操作：更新参数
  33.     #----------------------------------------------------
  34.     model.eval() # 设置模型为评估/测试模式
  35.     # 一般如果验证集不是很大的话，模型验证就不需要按批量进行了，但要注意输入参数的维度不能错
  36.     valid_output = model(X_val)
  37.     valid_loss = criterion(valid_output, y_val)    # 注意这里的输入参数维度要符合要求，我这里为了简单，并未考虑这一点
  39.     early_stopping(valid_loss, model)
  40.     # 若满足 early stopping 要求
  41.     if early_stopping.early_stop:
  42.         print("Early stopping")
  43.         # 结束模型训练
  44.         break
  45. # 获得 early stopping 时的模型参数
  46. model.load_state_dict(torch.load('checkpoint.pt'))

以下是 **pytorch_tools** 工具的代码：

  1. import numpy as np
  2. import torch
  4. class EarlyStopping:
  5.     """Early stops the training if validation loss doesn't improve after a given patience."""
  6.     def __init__(self, patience=7, verbose=False, delta=0):
  7.         """
  8.         Args:
  9.             patience (int): How long to wait after last time validation loss improved.
  10.                             Default: 7
  11.             verbose (bool): If True, prints a message for each validation loss improvement. 
  12.                             Default: False
  13.             delta (float): Minimum change in the monitored quantity to qualify as an improvement.
  14.                             Default: 0
  15.         """
  16.         self.patience = patience
  17.         self.verbose = verbose
  18.         self.counter = 0
  19.         self.best_score = None
  20.         self.early_stop = False
  21.         self.val_loss_min = np.Inf
  22.         self.delta = delta
  24.     def __call__(self, val_loss, model):
  26.         score = -val_loss
  28.         if self.best_score is None:
  29.             self.best_score = score
  30.             self.save_checkpoint(val_loss, model)
  31.         elif score < self.best_score + self.delta:
  32.             self.counter += 1
  33.             print(f'EarlyStopping counter: {self.counter} out of {self.patience}')
  34.             if self.counter >= self.patience:
  35.                 self.early_stop = True
  36.         else:
  37.             self.best_score = score
  38.             self.save_checkpoint(val_loss, model)
  39.             self.counter = 0
  41.     def save_checkpoint(self, val_loss, model):
  42.         '''Saves model when validation loss decrease.'''
  43.         if self.verbose:
  44.             print(f'Validation loss decreased ({self.val_loss_min:.6f} --> {val_loss:.6f}).  Saving model ...')
  45.         torch.save(model.state_dict(), 'checkpoint.pt')    # 这里会存储迄今最优模型的参数
  46.         self.val_loss_min = val_loss

不过这些代码还是需要读者根据自己的模型做出改动。