问题描述

多变量、多特征量
Multiple features (variables)
image.png
image.png
m为样本x的个数，n为特征θ的个数
【机器学习】多元梯度 - 图3为一个n维向量
image.png
image.png
Multivariate linear regression
多元线性回归问题

多元梯度下降

image.png
J此时为向量的函数
image.png

image.png
image.png

特征缩放

image.png
使得特征量在相近的取值范围内，可以使得梯度下降算法能够更快的收敛
等值线图细长，会导致梯度下降缓慢
image.png
缩放处理，可使得等值线图规则，缩短路径
image.png
主要是量级相近，与数字本身无关
image.png
均值归一化处理，添加了偏移量
也可以通过标准差处理
【机器学习】多元梯度 - 图14

最终目的就是让梯度下降更快一点

学习率

image.png
image.png
代价函数与迭代次数之间的关系
正常的梯度下降，该曲线应当是单调递减
不同的问题需要的迭代次数不同
image.png
可以使用一个阈值来判断，但阈值大小很难取得合适
因此最佳的调试方法还是第一种，更容易判断算法是否正常工作，从而调整学习律的大小
如果出现振荡，适当减小学习率
学习律过小收敛速度慢
image.png