1.什么是最小二乘法?

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

2.应用实例

(1)算数平均数

有五把尺子,用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子):
image.png
这种情况下,一般取平均值来作为线段的长度:
image.png
但有的可能会想:这样做有道理吗?用调和平均数行不行?用中位数行不行?用几何平均数行不行?

最小二乘法的解决思路是:把测量得到的值画在笛卡尔坐标系中,分别记作y,这样就有
image.png
其次,把要猜测的线段长度的真实值用平行于横轴的直线来表示,记作y
image.png
每个点都向y做垂线,垂线的长度就是|y-y| ,也可以理解为测量值和真实值之间的误差
image.png
因为误差是长度,还要取绝对值,计算起来麻烦,就干脆用平方来代表误差:
image.png
误差的平方和就是
image.png
法国的数学家提出,当误差的平方和最小的时候,y的值就是真值,这是因为如果误差是随机的,它应该围绕真值上下波动
image.png
这是一个二次函数,对其求导,导数为0的时候取得最小值:
image.png
进而:
image.png
以下这种方法:
image.png
这就是最小二乘法
(2)推广
算术平均数只是最小二乘法的特例,适用范围比较狭窄。而最小二乘法用途就广泛。比如温度与冰淇淋的销量:
image.png
看上去像是某种线性关系:
image.png
可以假设这种线性关系为:
image.png
通过最小二乘法的思想:
image.png

总误差的平方为:
image.png
不同的a,b会导致不同的S ,根据多元微积分的知识,当:
image.png
这个时候S取最小值。