单变量线性回归(Linear Regression with One Variable)
模型表示
一种可能的表达方式为:因为只含有一个特征/输入变量,因此这样的问题叫作单变量线性回归问题。
代价函数
我们选择的参数决定了得到的直线相对于训练集的准确程度,模型所预测的值与训练集中实际值之间的差距就是建模误差(modeling error)。
- 我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数(平方误差函数):最小。
-
梯度下降
梯度下降是一个用来求函数最小值的算法,我们将使用梯度下降算法来求出代价函数的最小值:开始时我们随机选择一个参数的组合,计算代价函数,然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到 到一个局部最小值(local minimum),因为我们并没有尝试完所有的参数组合,所以不能确定我们得到的局部最小值是否便是全局最小值(global minimum),选择不同的初始参数组合,可能会找到不同的局部最小值。