https://zhuanlan.zhihu.com/p/86441879

1. 单机多卡并行训练

1.1.torch.nn.DataParallel

我一般在使用多 GPU 的时候，会喜欢使用 os.environ['CUDA_VISIBLE_DEVICES'] 来限制使用的 GPU 个数，例如我要使用第 0 和第 3 编号的 GPU, 那么只需要在程序中设置:

  1. os.environ['CUDA_VISIBLE_DEVICES'] = '0,3'


但是要注意的是，这个参数的设定要保证在模型加载到 gpu 上之前，我一般都是在程序开始的时候就设定好这个参数，之后如何将模型加载到多 GPU 上面呢？
如果是模型，那么需要执行下面的这几句代码:

  1. model = nn.DataParallel(model)
  2. model = model.cuda()


如果是数据，那么直接执行下面这几句代码就可以了:

  1. inputs = inputs.cuda()
  2. labels = labels.cuda()


其实如果看 pytorch 官网给的示例代码，我们可以看到下面这样的代码

  1. model = Model(input_size, output_size)
  2. if torch.cuda.device_count() > 1:
  3.     print("Let's use", torch.cuda.device_count(), "GPUs!")
  4.     # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs
  5.     model = nn.DataParallel(model)
  6. model.to(device)


这个和我上面写的好像有点不太一样，但是如果看一下 DataParallel 的内部代码，我们就可以发现，其实是一样的:

  1. class DataParallel(Module):
  2.     def __init__(self, module, device_ids=None, output_device=None, dim=0):
  3.         super(DataParallel, self).__init__()
  4.         if not torch.cuda.is_available():
  5.             self.module = module
  6.             self.device_ids = []
  7.             return
  8.         if device_ids is None:
  9.             device_ids = list(range(torch.cuda.device_count()))
  10.         if output_device is None:
  11.             output_device = device_ids[0]


我截取了其中一部分代码，我们可以看到如果我们不设定好要使用的 device_ids的话，程序会自动找到这个机器上面可以用的所有的显卡，然后用于训练。但是因为我们前面使用 os.environ['CUDA_VISIBLE_DEVICES'] 限定了这个程序可以使用的显卡，所以这个地方程序如果自己获取的话，获取到的其实就是我们上面设定的那几个显卡.
我没有进行深入得到考究，但是我感觉使用 os.environ['CUDA_VISIBLE_DEVICES'] 对可以使用的显卡进行限定之后，显卡的实际编号和程序看到的编号应该是不一样的，例如上面我们设定的是 os.environ['CUDA_VISIBLE_DEVICES']="0,2", 但是程序看到的显卡编号应该被改成了'0,1', 也就是说程序所使用的显卡编号实际上是经过了一次映射之后才会映射到真正的显卡编号上面的，例如这里的程序看到的 1 对应实际的 2