一、Z-Score

训练时的标准化

读入数据集前的预处理

得到服从正态分布的数据。
使得不同的特征具有相同的尺度（Scale）。这样，在使用梯度下降法学习参数的时候，不同特征对参数的影响程度就一样了。
加速权重参数的收敛。

预测时的标准化

Z-Score本身没有实际意义，它的现实意义需要在比较中得以实现。

但是Z-Score应用也有风险。首先，估算Z-Score需要总体的平均值与方差，但是这一值在真实的分析与挖掘中很难得到，大多数情况下是用样本的均值与标准差替代。其次，Z-Score对于数据的分布有一定的要求，正态分布是最有利于Z-Score计算的。最后，Z-Score消除了数据具有的实际意义，A的Z-Score与B的Z-Score与他们各自的分数不再有关系，因此Z-Score的结果只能用于比较数据间的结果，数据的真实意义还需要还原原值。

大家在用Fine-tune pretrained model，比如Imagenet, 程序里面经常是减去的Imagenet的均值和方差，这样是不对的，大家在跑程序的时候要注意了