随着网络的加深,训练变得越来越困难,时间越来越长,原因可能是: 参数多数据量大梯度消失损失函数坡度平缓 为了解决上面这些问题,科学家们在深入研究网络表现的前提下,发现在下面这些方向上经过一些努力,可以给深度网络的训练带来或多或少的改善: 权重矩阵初始化批量归一化梯度下降优化算法自适应学习率算法 当然还有更多的方法,在本书中并不能一一列举,所以只给出一些常见的方法的原理解释,供大家参考。