4.5 深层神经网络的搭建
前向传播和反向传播
4.6 前向和反向传播
前向传播
4.7 参数 VS 超参数
参数:W、b
超参数:学习率α、循环次数(循环一次表示遍历所有训练数据一遍)、隐层数L、隐层单元数n[l]、所选激活函数、动量momentum、小批量大小(minibatch size)、正则化(regularization)等
深度学习的应用目前还是相当依赖经验的
4.8 这和大脑有什么关系?
深度学习神经网络虽然使用了“神经”一次,但目前即使神经学家也并不清楚单个神经元(neuro, dendrite(树突)、axon(轴突))的工作机制, 可以说,人工神经网络和大脑神经并没有必然的关系。