1.6 Dropout 正则化

Dropout（丢弃，失活）正则化：随机选择一些神经元（计算节点），让其值清零（zero out），相当于从网络中随机删除一些神经元，从而降低网络复杂度，降低过拟合
image.png
image.png
Inverted dropout（反向失活）的实现
image.png
仅需在训练时进行dropout，测试时不需要
image.png

1.7 理解 Dropout

为什么dropout有用？直观理解：任何一个特征都有可能被随机地“消除”，必须将权重分散到各个神经元，从而起到压缩权重(shrink weights)的作用。（注：这段描述不是很理解）
image.png

1.8 其他正则化方法

数据增广（利用现有数据，创建新数据，扩增训练集，防止过拟合）
image.png
早停（提前停止迭代，训练准确度会下降，但验证集准确度反而会提高，即，防止了过拟合）
早停的不好之处：将成本函数的优化和防止过拟合这两个任务耦合在了一起，并不符合通用的“正交化”方法，即将成本函数优化和过拟合看作两个互不相干的任务，分开执行
image.png

1.9 数据归一化（规范化）

训练集的归一化示例

  1. 零均值化——训练集特征值减去其平均值
  2. 求特征值平方均值
  3. 零均值化后的特征值除以特征值平方均值

image.png
为什么需要归一化输入值（特征值）？
可以提高训练速度
image.png