1.什么是最小二乘法？

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

2.应用实例

（1）算数平均数

有五把尺子，用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：

这种情况下，一般取平均值来作为线段的长度：

但有的可能会想：这样做有道理吗？用调和平均数行不行？用中位数行不行？用几何平均数行不行？

最小二乘法的解决思路是：把测量得到的值画在笛卡尔坐标系中，分别记作y，这样就有

其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示，记作y

每个点都向y做垂线，垂线的长度就是|y-y| ，也可以理解为测量值和真实值之间的误差

因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：

误差的平方和就是

法国的数学家提出，当误差的平方和最小的时候，y的值就是真值，这是因为如果误差是随机的，它应该围绕真值上下波动

这是一个二次函数，对其求导，导数为0的时候取得最小值：

进而：

以下这种方法：

这就是最小二乘法
（2）推广
算术平均数只是最小二乘法的特例，适用范围比较狭窄。而最小二乘法用途就广泛。比如温度与冰淇淋的销量：

看上去像是某种线性关系：

可以假设这种线性关系为：

通过最小二乘法的思想：

总误差的平方为：

不同的a，b会导致不同的S ，根据多元微积分的知识，当：

这个时候S取最小值。