我们继续从正交的观点看齐次线性方程组。
假设
是有限维实线性空间，
是一个真子空间，
表示
的正交补子空间。之前我们把
定义成线性方程组
的解空间，从而得出
%2C%20%5Cquad%20W%20%3D%20%5Cmathrm%7BRan%7D(A%5E%5Ctop)%20%5CLongrightarrow%20%5Cker%20(A)%20%3D%20%5Cbig(%20%5Cmathrm%7BRan%7D(A%5E%5Ctop%5Cbig)%5E%5Cperp.%20%0A#card=math&code=W%5E%5Cperp%20%3D%20%5Cker%20%28A%29%2C%20%5Cquad%20W%20%3D%20%5Cmathrm%7BRan%7D%28A%5E%5Ctop%29%20%5CLongrightarrow%20%5Cker%20%28A%29%20%3D%20%5Cbig%28%20%5Cmathrm%7BRan%7D%28A%5E%5Ctop%5Cbig%29%5E%5Cperp.%20%0A&id=DqexL)
同理，如果我们把
定义为
的解空间，那么就会有
%2C%20%5Cquad%20W%20%3D%20%5Cmathrm%7BRan%7D(A)%20%5CLongrightarrow%20%5Cbig(%5Cmathrm%7BRan%7D(A)%5Cbig)%5E%5Cperp%20%3D%20%5Cker%20(A%5E%5Ctop)%5Cbig.%0A#card=math&code=W%5E%5Cperp%20%3D%20%5Cker%20%28A%5E%5Ctop%29%2C%20%5Cquad%20W%20%3D%20%5Cmathrm%7BRan%7D%28A%29%20%5CLongrightarrow%20%5Cbig%28%5Cmathrm%7BRan%7D%28A%29%5Cbig%29%5E%5Cperp%20%3D%20%5Cker%20%28A%5E%5Ctop%29%5Cbig.%0A&id=yfI8f)
两边取正交补，得到
%3D%5Cbig(%20%5Cker%20(A%5E%5Ctop)%20%5Cbig)%5E%5Cperp.%20%0A#card=math&code=%5Cmathrm%7BRan%7D%28A%29%3D%5Cbig%28%20%5Cker%20%28A%5E%5Ctop%29%20%5Cbig%29%5E%5Cperp.%20%0A&id=XYJ7Z)
这个结论可以陈述为下面的
定理1：给定
%2C%20%5C%3B%20%5Cmathbf%7Bb%7D%5Cin%20%5Cmathrm%7BR%7D%5En#card=math&code=A%20%5Cin%20%5Cmathrm%7BM%7D_%7Bn%20%5Ctimes%20k%7D%28%5Cmathbb%7BR%7D%29%2C%20%5C%3B%20%5Cmathbf%7Bb%7D%5Cin%20%5Cmathrm%7BR%7D%5En&id=iGgnC). 下面的陈述等价：
(i) 线性方程组
有解.
(ii) 
是
的列向量的线性组合.
(iii) 向量
与方程组
的所有解都正交.
证：只要注意到
的列向量的全部线性组合就是Ran
#card=math&code=%28A%29&id=azEAD)就明白了.
这个定理是Fredholm的alternative定理（择一性）的一个简单版本。下面是alternative定理的另一个（更常见的）版本.
定理2：给定%2C%20%5C%3B%20%5Cmathbf%7Bb%7D%5Cin%20%5Cmathrm%7BR%7D%5En#card=math&code=A%20%5Cin%20%5Cmathrm%7BM%7D_%7Bn%20%5Ctimes%20k%7D%28%5Cmathbb%7BR%7D%29%2C%20%5C%3B%20%5Cmathbf%7Bb%7D%5Cin%20%5Cmathrm%7BR%7D%5En&id=UJbFt). 则要么线性方程组
有解，要么存在向量
，满足
.
应用：设
同上。我们证明方程组
一定有解。
证：按照定理1， 只要证明
与方程组
%5E%5Ctop%20z%20%3D%20A%5E%5Ctop%20A%20z%3D%5Cmathbf%7B0%7D#card=math&code=%28A%5E%5Ctop%20A%29%5E%5Ctop%20z%20%3D%20A%5E%5Ctop%20A%20z%3D%5Cmathbf%7B0%7D&id=rpN6L)的所有的解都正交即可。设向量
满足
. 计算
. 此时我们用下面的引理：
引理：设
同上，则两个方程组
有相同的解。
马上可知
. 所以
%5E%5Ctop%20v%20%3D%20b%5E%5Ctop%20Av%3D0#card=math&code=%28A%5E%5Ctop%20b%29%5E%5Ctop%20v%20%3D%20b%5E%5Ctop%20Av%3D0&id=xB6hn). 由定理1，可知
一定有解。
现在证明引理：显然
的解一定是
的解。只要证明反方向的包含关系即可。假设
. 则
. 注意到
%5E%5Ctop%20Av%20%3D%20(Av%2C%20Av)%20%5Cgeq%200#card=math&code=v%5E%5Ctop%20A%5E%5Ctop%20Av%3D%28Av%29%5E%5Ctop%20Av%20%3D%20%28Av%2C%20Av%29%20%5Cgeq%200&id=jULqP), 这是因为
都是实矩阵. 由内积的正定性，可知
. 得证.
注1：也可以直接从”系数矩阵的秩等于增广矩阵的秩”来证明
一定有解——只要证明增广矩阵
#card=math&code=%28A%5E%5Ctop%20A%2C%20A%5E%5Ctop%20%5Cmathbf%7Bb%7D%29&id=NjY18)的秩不超过系数矩阵
的秩即可。可以如下说明：增广矩阵#card=math&code=%28A%5E%5Ctop%20A%2C%20A%5E%5Ctop%20%5Cmathbf%7Bb%7D%29&id=JmCkw)可以看成是
左乘
#card=math&code=%28A%2C%20%5Cmathbf%7Bb%7D%29&id=KOdZp), 所以
%20%5Cleq%20%5Cmin%20%5C%7Br(A%5E%5Ctop)%2C%20%5C%3B%20r(A%2C%20%5Cmathbf%7Bb%7D)%5C%7D%0A#card=math&code=r%28A%5E%5Ctop%20A%2C%20A%5E%5Ctop%20%5Cmathbf%7Bb%7D%29%20%5Cleq%20%5Cmin%20%5C%7Br%28A%5E%5Ctop%29%2C%20%5C%3B%20r%28A%2C%20%5Cmathbf%7Bb%7D%29%5C%7D%0A&id=vmkVu)
由前述引理，可知
%20%3D%20r(A%20A%5E%5Ctop)%20%3D%20r(A%5E%5Ctop%20A)#card=math&code=r%28A%5E%5Ctop%29%20%3D%20r%28A%20A%5E%5Ctop%29%20%3D%20r%28A%5E%5Ctop%20A%29&id=cunr7). 所以总有%20%5Cleq%20r(A%5E%5Ctop%20A)#card=math&code=r%28A%5E%5Ctop%20A%2C%20A%5E%5Ctop%20%5Cmathbf%7Bb%7D%29%20%5Cleq%20r%28A%5E%5Ctop%20A%29&id=Ouhjw). 得证.
注2：线性方程组
是最小二乘逼近问题的”法方程”。所以最小二乘问题一定有解。
