参考:https://zhuanlan.zhihu.com/p/265411459

容易让人困惑的一点是指代混淆,Standardization指代比较清晰,但是单说Normalization有时会指代min-max normalization,有时会指代Standardization,有时会指代Scaling to unit length。

min-max normalization(归一化)

对原始数据进行线性变换把数据映射到[0,1]之间,变换函数为:
归一化Normalization - 图1

一般形式:
归一化Normalization - 图2
将每一维特征线性映射到目标范围[a,b]

其他方法,非线性映射:
归一化Normalization - 图3
tanh是双曲正切函数,定义域为(-∞,+∞),值域为(-1,1)

Standardization(标准化)

归一化Normalization - 图4

Scaling to unit length(向量归一化)

应用于矩阵时逐列操作
归一化Normalization - 图5