1.6 Batch Norm 为什么奏效？

样本变动（covariate shift）会使得模型的确定变得困难
image.png
在不同的mini-batch中，激活函数a可能会变化较大，batch norm可使其更加“归一”
image.png
Batch Norm具有轻微的“正则化”效应，但这不是其目的，其目的在于加快训练速度
image.png

1.7 测试时如何使用Batch Norm？

测试时，可使用指数加权平均法来计算均值和方差
image.png

1.8 Softmax 回归

Softmax可用于多分类，是二分类logistic回归的一般形式
image.png
Softmax层的计算
image.png
Softmax示例
image.png

1.9 训练一个 Softmax 分类器

理解Softmax回归
image.png
Softmax回归的损失函数
image.png
Softmax的梯度下降
image.png

1.10 深度学习框架

image.png

1.11 TensorFlow

问题引入
image.png
Tensorflow代码示例
image.png