线性最小二乘问题通常描述如下：设
平面上有
个定点
%2C%20%5C%3B%201%20%5Cleq%20i%20%5Cleq%20n#card=math&code=P_i%28x_i%2C%20y_i%29%2C%20%5C%3B%201%20%5Cleq%20i%20%5Cleq%20n&id=fXGBX)，它们的横坐标
各不相同. 求实数
, 使得
取得最小值. 如果
是问题的解，则称直线
为经验配线。
用微积分(偏导数)，可以求出
是下述线性方程组的解
%20a%20%2B%20%5Cbig(%20%5Csum%7Bi%3D1%7D%5En%20x_i%20%5Cbig)b%20%3D%20%5Csum%7Bi%3D1%7D%5En%20xi%20y_i%2C%20%5C%5C%0A%0A%5Cbig(%20%5Csum%7Bi%3D1%7D%5En%20xi%20%5Cbig)a%20%2B%20nb%20%3D%20%5Csum%7Bi%3D1%7D%5En%20yi.%0A%0A%5Cend%7Bcases%7D%0A%0A%5Cend%7Bequation%7D%0A#card=math&code=%5Cbegin%7Bequation%7D%5Clabel%7Beq%3Aleastsqsol%7D%0A%0A%5Cbegin%7Bcases%7D%0A%0A%5Cbig%28%20%5Csum%7Bi%3D1%7D%5En%20xi%5E2%20%5Cbig%29%20a%20%2B%20%5Cbig%28%20%5Csum%7Bi%3D1%7D%5En%20xi%20%5Cbig%29b%20%3D%20%5Csum%7Bi%3D1%7D%5En%20xi%20y_i%2C%20%5C%5C%0A%0A%5Cbig%28%20%5Csum%7Bi%3D1%7D%5En%20xi%20%5Cbig%29a%20%2B%20nb%20%3D%20%5Csum%7Bi%3D1%7D%5En%20y_i.%0A%0A%5Cend%7Bcases%7D%0A%0A%5Cend%7Bequation%7D%0A&id=m7sfn)
这个方程组的系数矩阵
的行列式等于
根据Cramer法则，这个方程组有唯一解. 即目标函数有唯一驻点
这个就是目标函数的最小值点.
注1：引入两个
维向量
%5E%5Ctop%2C%20%5Cmathbf%7B1%7D%3D(1%2C%20%5Cldots%2C%201)%5E%5Ctop#card=math&code=%5Cmathbf%7Bx%7D%3D%28x_1%2C%20%5Cldots%2C%20x_n%29%5E%5Ctop%2C%20%5Cmathbf%7B1%7D%3D%281%2C%20%5Cldots%2C%201%29%5E%5Ctop&id=ICFRR). Cauchy不等式
%5E2%20%5Cleq%20%7C%5Cmathbf%7Bx%7D%7C%5E2%20%7C%5Cmathbf%7B1%7D%7C%5E2%0A#card=math&code=%28%5Cmathbf%7Bx%20%5Ccdot%201%7D%29%5E2%20%5Cleq%20%7C%5Cmathbf%7Bx%7D%7C%5E2%20%7C%5Cmathbf%7B1%7D%7C%5E2%0A&id=ujSs6)
给出
%5E2%20%5Cleq%20n%20%5Csum%7Bi%3D1%7D%5En%20x_i%5E2.%0A#card=math&code=%5Cbig%28%5Csum%7Bi%3D1%7D%5En%20xi%5Cbig%29%5E2%20%5Cleq%20n%20%5Csum%7Bi%3D1%7D%5En%20x_i%5E2.%0A&id=CPKOM)
由于我们假设
互不相等，所以等号不可能取得到。这解释了为何
.
注2：上面用导数得到的使得目标函数取最小值时，参数
#card=math&code=%28a%2C%20b%29&id=TGjk2)应该满足的方程组，称为最小二乘问题的法方程组。
下面用几何观点来推导法方程组. 先用解线性方程组描述最小二乘问题：
这个方程组只有2个未知数
，但有
个方程. 我们称之为过定(over determined)的方程组.
设
因为当
时，有
. 所以
%3D2#card=math&code=r%28A%29%3D2&id=AYGf0). 方程组(3)用矩阵可以改写为
而目标函数可以表示为
.
引理：我们有
, 所以
满秩，而且
我们想要找最小二乘问题的一个近似解
，使得目标函数取得最小值。我们称这样的
是方程组(3)的最小二乘解。
记
. 这是
的由
和 
张成的
维线性子空间。当
时，自然可以找到解
. 但通常
。我们想要目标函数达到最小，由正交投影的几何刻画，就是要找系数
，使得
.%0A%0A%5Cend%7Bequation%7D%0A#card=math&code=%5Cbegin%7Bequation%7D%5Clabel%7Beq%3Aleastsqsol_matrixform%7D%0A%0AA%5Cbegin%7Bpmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bpmatrix%7D%20%3D%20P_U%28%5Cmathbf%7BY%7D%29.%0A%0A%5Cend%7Bequation%7D%0A&id=tgGNF)
这里
是到
的正交投影。
下面的命题指出这个条件等价于法方程.
命题：记
. 把
看成
的
维子空间. 那么
此时方程组有解
这正是法方程的解.
这里我们用投影的几何性质给出证明。之后会用正交投影的公式直接计算出
#card=math&code=P_U%20%28%5Cmathbf%7BY%7D%29&id=wDZCo), 从而给出另一个证明.
证：如果
使得
%20%3D%20P_U(%5Cmathbf%7BY%7D)#card=math&code=A%5Cbig%28%5Cbegin%7Bsmallmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bsmallmatrix%7D%5Cbig%29%20%3D%20P_U%28%5Cmathbf%7BY%7D%29&id=XGymZ), 那么
%20%3D%20%5Cmathbf%7BY%7D%20-%20P_U(%5Cmathbf%7BY%7D)%20%5Cin%20U%5E%5Cperp#card=math&code=%5Cmathbf%7BY%7D-A%5Cbig%28%5Cbegin%7Bsmallmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bsmallmatrix%7D%5Cbig%29%20%3D%20%5Cmathbf%7BY%7D%20-%20P_U%28%5Cmathbf%7BY%7D%29%20%5Cin%20U%5E%5Cperp&id=q87xj),
从
一定与
的列向量
正交(因为
是
的列向量
张成的线性空间). 用矩阵表达，即
%20%3D%20%5Cmathbf%7B0%7D.%0A#card=math&code=A%5E%5Ctop%20%5Cbig%28%5Cmathbf%7BY%7D-A%5Cbegin%7Bpmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bpmatrix%7D%5Cbig%29%20%3D%20%5Cmathbf%7B0%7D.%0A&id=umquY)
这就是. 由此解出
#card=math&code=%5Cbig%28%5Cbegin%7Bsmallmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bsmallmatrix%7D%5Cbig%29&id=bShhA)，再代入
%20%3D%20A%5Cbig(%5Cbegin%7Bsmallmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bsmallmatrix%7D%5Cbig)#card=math&code=P_U%28%5Cmathbf%7BY%7D%29%20%3D%20A%5Cbig%28%5Cbegin%7Bsmallmatrix%7D%20a%20%5C%5C%20b%20%5Cend%7Bsmallmatrix%7D%5Cbig%29&id=h7OPB)，就得出(5). 证毕.
