一 基本说明

回归一词来源于统计学，是单词Regression翻译过来的，线性回归就是LinearRegression。在前面的章节中，我们提到过拟合的概念，直角坐标系中拟合出来的曲线和那些点的距离越近越好，为了优化拟合出来的曲线，我们有两种优化的方式，分别是偏差的绝对值和最小，偏差的平方和最小这两种方式。由于偏差的绝对值和最小不好计算，但是偏差的平方和最小可以在向量的内积空间中用正交投影来解释。综合技术上和数学上的原因，基于偏差的平方和最小的优化方法去拟合一组数据的曲线关系最终形成，这就是最小二乘法。

二 拟合与回归

这是拟合与回归很相似，但也有一些不同。首先，对于已知的数据，通过拟合的方法可能找到其关键曲线，但是我们并不知道它对未知的数据的拟合效果是否也很好。数据量小的时候，其实并没有很明显的差异，但是当数据量变得很大的时候，通过拟合得到的结果就变得不准确了。