1.什么是最小二乘法?
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
2.应用实例
(1)算数平均数
有五把尺子,用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子):
这种情况下,一般取平均值来作为线段的长度:
但有的可能会想:这样做有道理吗?用调和平均数行不行?用中位数行不行?用几何平均数行不行?
最小二乘法的解决思路是:把测量得到的值画在笛卡尔坐标系中,分别记作y,这样就有
其次,把要猜测的线段长度的真实值用平行于横轴的直线来表示,记作y
每个点都向y做垂线,垂线的长度就是|y-y| ,也可以理解为测量值和真实值之间的误差
因为误差是长度,还要取绝对值,计算起来麻烦,就干脆用平方来代表误差:
误差的平方和就是
法国的数学家提出,当误差的平方和最小的时候,y的值就是真值,这是因为如果误差是随机的,它应该围绕真值上下波动
这是一个二次函数,对其求导,导数为0的时候取得最小值:
进而:
以下这种方法:
这就是最小二乘法
(2)推广
算术平均数只是最小二乘法的特例,适用范围比较狭窄。而最小二乘法用途就广泛。比如温度与冰淇淋的销量:
看上去像是某种线性关系:
可以假设这种线性关系为:
通过最小二乘法的思想:
总误差的平方为:
不同的a,b会导致不同的S ,根据多元微积分的知识,当:
这个时候S取最小值。