深度学习优化算法总结

2021-01-13

总结内容深度学习的优化算法，主要是基于梯度下降法的，依据梯度下降法局部最优的缺点。引入两个改进方向。

• 第一类是对梯度更新的整体修正，
• 第二类是根据每个变量的特点，对该变量的参数更新进行自适应调节。

目前的Adam算法，正是将二者同时应用，达到了不错的效果。

1.总体框架

2.对整体更新

3.对各参数更新

4.Adam

4.1Adam补充

注意：文章以图片形式存放，图片可能会不清晰，建议点开图片观察

参考：
1.花皮书深度学习
2.梯度下降优化算法综述：https://blog.csdn.net/heyongluoyao8/article/details/52478715
————————————————
版权声明：本文为CSDN博主「zz__66」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45840013/article/details/112554688