定义

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域广泛应用的数学估计。以上是百度百科的定义。更直观的解释，我们常说的曲线拟合，就常用最小二乘法。

推导

完整的解释和推导请看知乎最小二乘法的本质是什么。这篇文章看完之后我是醍醐灌顶，把最小二乘法用最简单的语言和例子解释清楚了。

个人总结一下：

1. 设为要预测的数据真值，为采集到的数据点，求解式子：
   
   使得式子S的值最小，此时的y就是最小二乘法的结果。求解方法是把S看作一个函数，对函数进行求导，并令导数为0，即。
2. 统计学的推导：假设测量值为，真值为，它们的误差即为：
   
   这样误差最终会形成一个概率分布，但是我们不知道这个误差的概率分布是什么，现假设误差的概率密度函数为：，那么将每个测量值对应的概率密度相乘，得到一个联合概率：
   
   当作为变量的时候，上式就变为似然函数了。同样的，对于求最大值，就是找极值点，让求导等于0。带入的条件，发现误差的概率密度函数为一个正态分布。也就是说如果误差的分布是正态分布，那么最小二乘法得到的就是最有可能的值。（看原文，特别详细）