正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。因为梯度下降是通过迭代求出最优参数，但有时候通过正规方程，我们可以一次性求出最优参数，从而省去迭代求参的过程。
示例如下：


注：对于那些不可逆的矩阵，正规方程方法是不能用的。
梯度下降与正规方程的比较：

总结一下，只要特征变量的数目并不大，正规方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，我通常使用正规方程法，而不使用梯度下降法。
随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法，我们会看到，实际上对于那些算法，并不能使用标准方程法。对于那些更复杂的学习算法，我们将不得不仍然使用梯度下降法。因此，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。或者我们以后在课程中，会讲到的一些其他的算法，因为标准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型，标准方程法是一个比梯度下降法更快的替代算法。所以，根据具体的问题，以及你的特征变量的数量，这两种算法都是值得学习的。