反向传递的数学原理

如上图，对于求导处理，正向累积与反向累积是等价的，都能够求出的结果，所以在神经网络中，可以在计算正向传播（梯度下降）的同时，通过残差的梯度下降来反向传播。