优化深度学习模型的过程是优化模型的权重，从而让损失函数尽可能小的过程。
把深度学习模型的损失函数看作是一个有两种参数的函数，其中第一种参数是输入的数据，第二种参数是线性变换的权重。
在给定输入数据的情况下，如果想要求得最优的权重，
需要求得损失函数相对权重的导数（梯度），然后沿着导数的方向对权重进行变化

链式求导法则

深度学习模型是由输入层、隐藏层、和输出层构成的，而最后的损失函数由输出层的值决定，最终的损失函数是所有中间层的复合函数

权重梯度和数据梯度

计算图

节点的连接过程能够形象的描述神经网络的工作过程，称为计算图