Batch Normalization, Instance Normalization, Layer Normalization
    image.png

    BN, IN, LN - 图2
    image.png
    只有CNN才可以进行instance norm，RNN等因为一个神经元上的值是一个标量，无法进行IN。
    BN, IN, LN - 图4
    image.png
    BN, IN, LN - 图6

    1. batch normalization 目的：解决梯度消失