https://oldpan.me/archives/pytorch-conmon-problem-in-training

torch.backends.cudnn.benchmark

默认这个选项是关闭的，对于我们大多数的任务来说，在开启的时候 cudnn 可以根据当前的设置来选择最优算法来加快训练速度。但是如果我们的输入在每一次的 iterate 的时候都进行变化，那么 benchmark 就会在每次 iterate 的时候重新选择最优算法，当选选择是需要花费时间的，反而速度会变慢，也就是说，如果我们每次训练的输入数据的 size 不变，那么开启这个就会加快我们的训练速度：

torch.backends.cudnn.benchmark = True