Mean subtraction

给定数据集 X，用 X 减去 X 的平均特征向量即可。

Normalization

• 目标：缩放每个输入特征维度，使其具有相似的大小范围。

• 实现方法：让每个样本的每个特征除以这个特征在数据集上的标准差

  Whitening

• 目标：是数据集的协方差矩阵变为单位矩阵，即特征变得不相关且方差为1。

• 实现方法：
  • 对 X 做 mean subtraction 得到 X’
  • 对 X’ 做 SVD 分解得到矩阵 U, S, V
  • 计算 UX’，将 X’ 投影到 U 的列向量构成的基
  • 将投影结果的每一维都除以 S 中对应的奇异值，如果奇异值为 0，则除以一个较小的数值。