参考来源：
    CSDN：PyTorch 学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）

    BN，LN，IN，GN从学术化上解释差异：
    **BatchNorm**：batch 方向做归一化，算 NHW 的均值，对小 batchsize 效果不好；BN 主要缺点是对 batchsize 的大小比较敏感，由于每次计算均值和方差是在一个 batch 上，所以如果 batchsize 太小，则计算的均值、方差不足以代表整个数据分布
    **LayerNorm**：channel 方向做归一化，算 CHW 的均值，主要对 RNN 作用明显；
    **InstanceNorm**：一个 channel 内做归一化，算 H*W 的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖于某个图像实例，所以对整个 batch 归一化不适合图像风格化中，因而对 HW 做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。
    **GroupNorm**：将 channel 方向分 group，然后每个 group 内做归一化，算 (C//G)HW 的均值；这样与 batchsize 无关，不受其约束。
    **SwitchableNorm** 是将 BN、LN、IN 结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。