常用的优化算法有：动量算法、AdaGrad算法、RMSProp算法、Adam算法等

Adam算法

image.png