线性回归

回归

回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。
线性回归的目标是找到一组权重向量𝐰和偏置𝑏： 当给定从𝐗的同分布中取样的新样本特征时， 这组权重向量和偏置能够使得新样本预测标签的误差尽可能小。

损失函数

损失函数（loss function）能够量化目标的实际值与预测值之间的差距。

梯度下降

梯度下降（gradient descent）通过不断地在损失函数递减的方向上更新参数来降低误差。
梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值） 关于模型参数的导数（在这里也可以称为梯度）。 但实际中的执行可能会非常慢：因为在每一次更新参数之前，我们必须遍历整个数据集。 因此，我们通常会在每次需要计算更新的时候随机抽取一小批样本， 这种变体叫做小批量随机梯度下降（minibatch stochastic gradient descent）。