功能

加速训练,使得代价函数𝐽优化起 来更简单快速。

过程

假设一个训练集有两个特征, 输入特征为 2 维,归一化需要两个步骤:

  • 零均值

image.png
它是一个向量,𝑥等于每个训练数据𝑥减去𝜇,意思是移动训练集,直到它完成零均值化。

  • 归一化方差

image.png
它也是一个向量,注意特征𝑥1的方差比特征𝑥2的方差要大得多,我们把所有数据除以向量𝜎2,最后变成下图形式。
image.png
他们都是向量,x=[x1,x2], 𝜇=[𝜇1,𝜇2], 𝜎2=[𝜎12,𝜎22],
如果你用它来调整训练数据,那么用相同的 𝜇 和 𝜎2来归一化测试集,因为我们希望不论是训练数据还是测试数据, 都是通过相同 μ 和𝜎2定义的相同数据转换,而不是在测试集上预估新的𝜇 和 𝜎2。

原因

假设输入在(0,1),(1,1000),w的比率或者取值也会相差甚远,实际上如果假设特征𝑥1范围在 0-1 之间,𝑥2的范围在-1 到 1 之间,𝑥3范围在 1-2 之间, 它们是相似范围,如果W(本身是多维的)均匀分布,代价函数就会更加圆润,最低点就更好找一点。
image.png