https://blog.csdn.net/bit452/article/details/109637108

鞍点

不害怕局部最优，害怕鞍点
梯度为0
image.png

image.png

梯度下降公式

image.png

image.png

随机梯度下降（最常用）

image.png

批量随机梯度下降 Mini-Batch

效率和时间复杂度折中方案

代码实现

结果

因为有噪声，cost会产生震荡，所有添加下指数加权均值，更为平滑

image.png
image.png

梯度下降算法

image.png
image.png

随机梯度下降算法

image.png