思想

想法就是山上到山下 如何快速抵达山下

公式

image.png

类别

  1. 批量梯度下降
  2. 随机梯度下降

  3. 小批量梯度下降

    重要参数

  4. 初始点

    1. 对于初始点选择极为敏感(初始点得不同有不同得局部最优解)
    2. image.png
  5. 方向

  6. 步长

    梯度

  7. 梯度是某函数在某点得方向导数得最大值 即当前位置得导数

  8. f(x,y) 为多元函数 在某点的梯度为该点的偏导

image.png

梯度下降法注意事项

  1. 从初始点开始 不断地更新迭代

  2. 梯度下降的长度 过小 收敛时间过长 过大 错过最优

    实验

    image.png

  3. 对J求偏导

image.png

  1. 沿着梯度下降的方向进行参数迭代只能不能迭代为止

image.png