4.5 深层神经网络的搭建

前向传播和反向传播
image.png
image.png

4.6 前向和反向传播

前向传播
image.png

反向传播
image.png

4.7 参数 VS 超参数

参数:W、b
超参数:学习率α、循环次数(循环一次表示遍历所有训练数据一遍)、隐层数L、隐层单元数n[l]、所选激活函数、动量momentum、小批量大小(minibatch size)、正则化(regularization)等
image.png
深度学习的应用目前还是相当依赖经验的
image.png

4.8 这和大脑有什么关系?

深度学习神经网络虽然使用了“神经”一次,但目前即使神经学家也并不清楚单个神经元(neuro, dendrite(树突)、axon(轴突))的工作机制, 可以说,人工神经网络和大脑神经并没有必然的关系。
image.png