0 说明
笔记标题：MIT_LA_Lecture4-8
笔记版本：v1.0
对于文档的说明
- 你可以在我的Github仓库中下载本笔记的Markdwon源文档，并通过浏览目录进行更方便高效地浏览；也欢迎在知乎文章中进行浏览。
- 本笔记参考的课程为MIT Linear Algebra（麻省理工线性代数），本课程在网易公开课、Bilibili和youtube等网站上都有视频资源，读者可以选择合适的平台观看。
- 本笔记并未完全按照视频课的内容记录，添加了许多自己的理解、资料的补充和顺序的调整。
- 本系列笔记在不断更新，已经发布的笔记也会偶尔进行内容更新，版本号可以在文件标题或说明的开头查看，你可以通过Github的commit信息来查看笔记更新内容。
- 如果你对笔记内容有好的建议，请提出来，笔者在这里表示感谢。
对于内容的说明：
- 小写字母表示的向量，比如
，除非在特殊说明的情况下，都表示的是列向量。用 
来表示行向量。 - 部分矩阵中
. 用来表示元素省略，并不表示元素为 0 。 - 单位矩阵用
表示。
4.1 矩阵的 LU 分解
为什么需要 LU 分解
在上一节中，我们知道通过高斯消元法可以容易地求解线性方程组，用矩阵表示即 
， 
为若干初等矩阵的积，包含了我们进行初等变换的所有信息， 
为上三角矩阵（upper triangular）。我们以 1 中（6）为例 
：
我们先不考虑行的交换，观察 
：
我们可以发现， 除了初等行变换信息（即 中的 -3，-2 两项），还多了一个额外信息 -6，这个是我们不想要的信息，那么有没有只包含行变换信息的分解或等式呢？有，这就是我们即将介绍的 
分解。
LU 分解
在线性代数与数值分析中， 分解是矩阵分解的一种，将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积，有时需要再乘上一个置换矩阵。 分解可以被视为高斯消元法的矩阵形式。在数值计算上， 分解经常被用来解线性方程组、且在求反矩阵和计算行列式中都是一个关键的步骤。
—维基百科
仍先不考虑行变换， 分解简单地说就是 
，同样写出上例的 分解式：
可以看到， 
除了是下三角阵外，还包含且仅包含了矩阵行变换的所有信息。同时我们有以下结论：
这样，当我们通过高斯消元法变换矩阵后，就能立即写出 这种分解形式，对消元的过程和结果进行完整地记录，而不需要额外去计算 
，我们写出 就相当于记录了 ，因为 
。
总之，对于 ，如果不存在行交换，消元乘数（消元步骤中需要乘以并减去的倍数）可以直接写入 中。因此可以这样看待消元，只要步骤正确，就可以在得到 的过程中把 
抛开，这是对矩阵形式进行消元的更深刻的认识。
其他分解形式
除了上面给出的 分解，有些矩阵还能进行 
分解和 
分解。
$$PLU$$ 分解
方阵 的 分解是是将它分解成一个置换矩阵 
、一个下三角矩阵 与上三角矩阵 的乘积，即
事实上，所有的方阵都可以写成 分解的形式，由于左乘排列矩阵 
是在交换行的顺序（也就是后面即将说到的置换矩阵），所以由 
推得适当的交换 的行的顺序，即可将 做 分解。事实上， 分解有很高的数值稳定性，因此实用上是很好用的工具。
有时为了计算上的方便，会同时间换行与列的顺序，此时会将 分解成
其中 、、 同上，
是一个置换矩阵（这里是右乘以交换列）。
LDU 分解
方阵 的 LDU 分解是是将它分解成一个单位下三角矩阵 、对角矩阵 
与单位上三角矩阵 的乘积，即
其中单位上、下三角矩阵是指对角线上全是 1 的上、下三角矩阵。
事实上， 分解可以推广到 是一般的矩阵，而非方阵。此时， 和 是方阵，并且与 有相同的行， 则有和 相同的长宽。注意到现在 是上三角的定义改为主对角线的下方都是 0，而主对角线是收集所有 
满足 
。
我们将（3）中的 分解再进一步化为 分解：
4.2 高斯消元算法复杂度
关于高斯消元算法的复杂度：
- 用每一行减去第一行的倍数，以消除第一行以外的第一列的元素，因为每行有
个元素，所以计算次数为 
； - 排除第一行，用每一行减去第二行的倍数，计算以此类推，因为共有 行，所以我们一共进行了 次，算法复杂度为
%7D%5E%7B2%7D%2B%E2%80%A6%2B%7B1%7D%5E%7B2%7D%3DO(%5Cfrac%7B1%7D%7B3%7D%7Bn%7D%5E%7B3%7D)#card=math&code=%7Bn%7D%5E%7B2%7D%2B%7B%28n-1%29%7D%5E%7B2%7D%2B%E2%80%A6%2B%7B1%7D%5E%7B2%7D%3DO%28%5Cfrac%7B1%7D%7B3%7D%7Bn%7D%5E%7B3%7D%29&height=30&width=205) 。 - 这里我们仅讨论得到阶梯型矩阵的复杂度，高斯-若当消元法会有额外的计算步骤，但后续计算量小，并不影响其复杂度，这里不予证明。
4.3 转置矩阵
转置矩阵的性质
转置矩阵（transpose）有很多值得我们记住的基本的性质，对于矩阵 , 
和标量 
，转置矩阵有下列性质：
%7D%5E%7BT%7D%3DA#card=math&code=%7B%28%7BA%7D%5E%7BT%7D%29%7D%5E%7BT%7D%3DA&height=21&width=65)
%20%20%7D%5E%7B%20T%20%7D%3D%7B%20A%20%7D%5E%7B%20T%20%7D%2B%7B%20B%20%7D%5E%7B%20T%20%7D#card=math&code=%7B%5Cleft%28%20A%2BB%20%5Cright%29%20%20%7D%5E%7B%20T%20%7D%3D%7B%20A%20%7D%5E%7B%20T%20%7D%2B%7B%20B%20%7D%5E%7B%20T%20%7D&height=19&width=127)
%20%20%7D%5E%7B%20T%20%7D%3D%7B%20B%20%7D%5E%7B%20T%20%7D%7B%20A%20%7D%5E%7B%20T%20%7D#card=math&code=%7B%20%5Cleft%28%20AB%20%5Cright%29%20%20%7D%5E%7B%20T%20%7D%3D%7B%20B%20%7D%5E%7B%20T%20%7D%7B%20A%20%7D%5E%7B%20T%20%7D&height=19&width=94)
%20%20%7D%5E%7B%20T%20%7D%3Dc%7B%20A%20%7D%5E%7B%20T%20%7D#card=math&code=%7B%5Cleft%28%20cA%20%5Cright%29%20%20%7D%5E%7B%20T%20%7D%3Dc%7B%20A%20%7D%5E%7B%20T%20%7D&height=19&width=77)
- 若
，则 
为对称矩阵，即 
。
还有比如我们刚刚学到的：
%20%20%7D%5E%7B%20T%20%7D%7B%20A%20%7D%5E%7B%20T%20%7D%3DI%5Crightarrow%20%7B%20%5Cleft(%20%7B%20A%20%7D%5E%7B%20T%20%7D%20%5Cright)%20%20%7D%5E%7B%20-1%20%7D%3D%7B%20%5Cleft(%20%7B%20A%20%7D%5E%7B%20-1%20%7D%20%5Cright)%20%20%7D%5E%7B%20T%20%7D%0A%5Ctag%7B9%7D%0A#card=math&code=A%7B%20A%20%7D%5E%7B%20-1%20%7D%3DI%5Coverset%20%7B%20T%20%7D%7B%20%5Crightarrow%20%20%7D%20%7B%20%5Cleft%28%20%7B%20A%20%7D%5E%7B%20-1%20%7D%20%5Cright%29%20%20%7D%5E%7B%20T%20%7D%7B%20A%20%7D%5E%7B%20T%20%7D%3DI%5Crightarrow%20%7B%20%5Cleft%28%20%7B%20A%20%7D%5E%7B%20T%20%7D%20%5Cright%29%20%20%7D%5E%7B%20-1%20%7D%3D%7B%20%5Cleft%28%20%7B%20A%20%7D%5E%7B%20-1%20%7D%20%5Cright%29%20%20%7D%5E%7B%20T%20%7D%0A%5Ctag%7B9%7D%0A&height=30&width=583)
当然，还有一些之后会学到的：
- 如果 只有实数元素，则
是半正定矩阵。 - 如果 是在某个域上，则 相似与
。
特殊转置矩阵
对称矩阵
其转置等于自身的方块矩阵叫做对称矩阵。
正交矩阵
其转置也是它的逆矩阵的方块矩阵叫做正交矩阵；就是说 
是正交的，如果 
。
斜对称矩阵
其转置等于它的负矩阵的方块矩阵叫做斜对称矩阵；就是 
是斜对称的，如果 
。
4.4 置换矩阵
置换矩阵的定义
在以上的消元的讨论中，我们为了方便都事先假定不需要进行行的交换，如果需要考虑这些行交换或列交换， 分解就不能完全表示出矩阵消元的所有信息了，这个时候我们需要在 左边乘上一个置换矩阵，用以记录行交换的信息，从而我们得到了 
分解；当然，有时候我们也会进行列交换，那么同样地在 右端乘上一个置换矩阵，就得到了 
分解。
在数学中的矩阵论里，置换矩阵（permutation matrix）是一种系数只由 0 和 1 组成的方块矩阵。置换矩阵的每一行和每一列都恰好有一个 1，其余的系数都是 0。在线性代数中，每个 
阶的置换矩阵都代表了一个对 个元素（ 维空间的基）的置换。当一个矩阵乘上一个置换矩阵时，所得到的是原来矩阵的横行（置换矩阵在左）或纵列（置换矩阵在右）经过置换后得到的矩阵。
来自维基百科。
我们考虑 
时的置换矩阵，一共有以下6个：
相应地，左乘分别代表不变，交换2、3行，交换1、2行等；右乘分别代表不变，交换2、3列，交换1、2列等。
置换矩阵的性质
- 从定义可以看出， 维置换矩阵共有
个。 - 从定义也可以很容易得到，置换矩阵的逆等于其转置，即
。 - 这 个置换矩阵任意相乘的结果仍在其中，其逆也在其中，也就是这 个矩阵构成了一个矩阵群，对矩阵乘法和逆运算封闭。
5 向量空间
空间
什么是空间？如果让一只蚂蚁沿着一条细绳爬行，那么对蚂蚁来说，空间就是一条直线 
，如果把蚂蚁放到地图上，那么空间就是一个平面 
，而现实里，蚂蚁还能往上往下，那么就像我们人类感知的一样，空间就是三维空间 
。
而数学上，空间是指一种具有特殊性质及一些额外结构的集合，也就是说，我们规定一些性质或结构，若集合能满足这些要求，那它就是一个我们规定的某种空间。在数学上，空间可以有很多种，比如函数空间、仿射空间、概率空间等等，向量空间也是规定的一种满足特定性质和要求的元素的集合。
那么，从这个定义来说，向量空间里的元素只要满足这些要求就行了，是不是向量空间里的元素不是向量也可以呢？还真是这样。向量空间的元素还可以是函数、矩阵、多项式、映射等等，只要这些元素满足向量空间的所规定的线性运算规律就好了。
但正如名字所示，我们最常见和研究的向量空间还是一些有序数组，也就是向量的集合，这一节我们还是以它为主介绍。
那么，向量空间应该满足什么性质呢？
向量空间的定义
设 
为 维向量的集合，如果集合 非空，且集合 对于向量的加法及数乘两种运算封闭，那么就称集合 为向量空间。所谓封闭，是指在集合 中可以进行向量的加法及数乘两种运算。具体地说：
当然，我们这里前提还是以有序数组，即向量为对象考虑的，对于一般化的向量空间，我们会在后面介绍。
常见的向量空间
在思考这个问题之前，我们先回过头看一看（6）这个定义，其中 
既然可以相加，首先它们的维数必须相同，也就是说，不同维数的向量构成的向量空间肯定是不同的，比如，举个最简单的例子，两个集合 A 和 B，
，
，很容易验证这两个向量都分别满足向量空间的定义，但它们是不同的向量空间。
同样地，我们还能举出一个例子 , 
，和 
都是向量空间，可以说是 维列向量能构成的最大的向量空间。
还有哪些呢？比如我们考虑 内，一条过原点的直线也是一个向量空间，因为我们很容易能验证（6）中的两条性质。但线段、射线和不过原点的直线都不是向量空间，也就是没有其他种类的向量空间了。
我们再考虑 中，同样，过原点的直线是向量空间，更进一步，过原点的任一平面也是一个向量空间，也没有其他种类的向量空间了。
现在我们再加上最开始考虑的零向量和 
本身，总结一下， 中，一共有多少种向量空间呢？
首先是零向量，然后是 中任一过原点的直线，然后是 中任一过原点的平面，当 
时，还有 
中任一过原点的三维空间，当然 4 维是抽象的， 
时以此类推。最后再加上 本身，就是 内所有不同种类的向量空间，共有 
种。
向量空间的子空间
我们知道了 中，一共有 种向量空间，并且，前 种向量空间都是 的子集（当然 本身也是 的子集），那么就称前 种低维向量空间是 的子空间。
一个集合 首先应该是一个向量空间，其次它是另一个向量空间 的子集，这样它就是这个向量空间 的子空间。
那么，是在 中的这 种向量空间，前 种向量空间只能是 的子空间吗？并不是，比如， 上的一个二维向量空间，即 中一个过原点的平面，在其中任找一条过原点的直线，那么这条直线就是这个二维向量空间的子空间。当然， 维零向量也是 中任一向量空间的子空间。
向量空间的基与维数
设 为向量空间，如果 
和向量 
，且满足：
那么，向量组 
就称为向量空间 的一个基， 称为向量空间 的维数 
，并称 为 维向量空间。多说一句，如果 
是 
维列向量，那么我们通常称 为 
上的 维向量空间。
如果向量空间 没有基，那么 的维数是 0。0 维向量空间只含一个零向量 
。
以上，我们介绍了向量空间的概念， 接下来介绍两种常用的向量空间来帮助理解和求解线性方程组 
：列空间和零空间。
6.1 列空间
列空间的定义
设一 行 列实元素矩阵为 
，则其列空间（column space）是由矩阵 的所有列向量张成（span）的 上的子空间，记作 
#card=math&code=C%28A%29&height=16&width=31) 。
矩阵 的列空间 #card=math&code=C%28A%29&height=16&width=31) 中的所有向量均为矩阵 中列向量的某种线性组合，都为 上的向量（即 维向量）。
#card=math&code=C%28A%29&height=16&width=31)的维度等于矩阵 的列秩，最大为 
#card=math&code=min%28m%2Cn%29&height=16&width=61) 。即：
%20%3D%20rank(A)%20%E2%89%A4%20min(m%2Cn)%0A%5Ctag%7B12%7D%0A#card=math&code=dim%20%5Cspace%20C%28A%29%20%3D%20rank%28A%29%20%E2%89%A4%20min%28m%2Cn%29%0A%5Ctag%7B12%7D%0A&height=16&width=583)
列空间 #card=math&code=C%28A%29&height=16&width=31) 的一组自然基底是矩阵 的列向量的最大线性无关组。
线性方程组与列空间
我们考虑以下线性方程组 ：
我们很容易验证列空间 #card=math&code=C%28A%29&height=16&width=31) 是一个向量空间。
的列空间 #card=math&code=C%28A%29&height=16&width=31) 为所有列的线性组合，因为第 3 列为前两列之和，前两列线性无关，所以 #card=math&code=C%28A%29&height=16&width=31) 是 上的一个 2 维向量空间。
那么，由（8）可知，求解线性方程组从列向量角度讲，本质就是 
是否可以由系数矩阵 的列向量线性表出。那么什么时候 解有什么时候无解呢？从列空间的角度，当 
#card=math&code=%5Cvec%7Bb%7D%5Cin%20C%28A%29&height=19&width=53) 时，线性方程组有解；反之则无解。
6.2 零空间
零空间的定义
对于所有使齐次线性方程组 
成立的向量 
的集合，称为矩阵 的零空间（null spaces），用符号表示为 
#card=math&code=N%28A%29&height=16&width=32) 。
零空间是一个向量空间。当 为 行 列实元素矩阵，所以 是一个 维列向量：
- 若
#card=math&code=%5Cvec%7Bw%7D%20%5Cin%20N%28A%29&height=16&width=58) ，则 
%3DkA%5Cvec%7Bw%7D%3D%5Cvec%7B0%7D#card=math&code=A%28k%5Cvec%7Bw%7D%29%3DkA%5Cvec%7Bw%7D%3D%5Cvec%7B0%7D&height=19&width=107) ，即 
#card=math&code=k%5Cvec%7Bw%7D%20%5Cin%20N%28A%29&height=16&width=65) ； - 若
#card=math&code=%5Cvec%7Bw%7D%20%2C%5Cvec%7Bu%7D%5Cin%20N%28A%29&height=16&width=73) ，则 
%3DA%5Cvec%7Bw%7D%2BA%5Cvec%7Bu%7D%3D%5Cvec%7B0%7D#card=math&code=A%28%5Cvec%7Bw%7D%2B%5Cvec%7Bu%7D%29%3DA%5Cvec%7Bw%7D%2BA%5Cvec%7Bu%7D%3D%5Cvec%7B0%7D&height=19&width=152) ，即 
#card=math&code=%5Cvec%7Bw%7D%20%2B%5Cvec%7Bu%7D%5Cin%20N%28A%29&height=16&width=83) 。
所以 #card=math&code=N%28A%29&height=16&width=32) 就是 
的一个子空间。
零空间的维数
很容易知道， 
#card=math&code=%5Cvec%7B0%7D%5Cin%20N%28A%29&height=19&width=56) ，以下我们来讨论 的非零解。
特例分析
比如我们考虑例（8）所对应的其次线性方程组：
很明显，一个解为 
，当然所有 
也都是解，那么还有与 不共线的解吗？
我们可以设非零解为 
，（这里 
，因为 若等于0，前两列线性无关，得到的就是零解）由于所有 也都是解，我们不妨取 
，即 
，来剔除线性相关的解，来讨论：到底有多少线性无关的 ？也就是零空间的维数。
我们知道 三个列向量的前两个列向量线性无关，也就是前两列是 #card=math&code=C%28A%29&height=16&width=31) 的一个基，第三列可以表示成前两列的线性组合：
这种表示方法一定是唯一的。因为若有 
，且 
，那么两式相减，我们可以得到 
%5Cvec%7Ba_1%7D%2B(c_2-k_2)%5Cvec%7Ba_2%7D#card=math&code=%5Cvec%7B0%7D%3D%28c_1-k_1%29%5Cvec%7Ba_1%7D%2B%28c_2-k_2%29%5Cvec%7Ba_2%7D&height=20&width=172) ，又因为 
线性无关，所以只有系数都为 0 时，其线性组合才为 
，所以得到 
， 
，这和我们的假设矛盾，即证明了（10）的表示方法一定是唯一的。
那么 
的表示方法也一定是唯一的，移项就能得到，使 
成立的 
，也就是非零解 也是唯一的，从而原齐次线性方程组
的系数矩阵 的零空间的维数为一，也就是说：N(A)是 上的一维向量空间，即 中的一条过原点的直线。
一般分析
有了以上特例分析作为基础，我们就能容易地推广到一般情况。
对于一般的 行 列矩阵 ，考虑 的列向量 
，一定可以（但并不唯一地）分为两部分，即 
为列空间的一组基（即最大线性无关组）， 
为分别可以由基唯一线性表出的列向量。
这里的基虽然在原列向量 内，不一定就是最左边的 列，但是可以通过交换列向量得到这种形式，相应的零空间内各列向量的位置也需要做相应的调换，比如交换2、4列的位置，那么零空间向量 
相应交换2、4行的位置，变成 
，但这并不会影响零空间维数这个结果，我们这么做只是为了方便地分析问题。
我们任意从后面 
个列向量中取某个 
系数为 1，使其他 
个系数均为 0，同样的分析思路，我们有使
成立的 
是唯一的，由于我们假设的一般性，这样的列向量有 个，也就是说至少有 个线性无关的 维向量在零空间中，即零空间至少 维。
尝试写出这 个向量：
%7D%20%5C%5C%0A%09%5Clambda%7B2(r%2B1)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(r%2B1)%7D%5C%5C%0A%091%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1(r%2B2)%7D%20%5C%5C%0A%09%5Clambda%7B2(r%2B2)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(r%2B2)%7D%5C%5C%0A%090%5C%5C%0A%20%201%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D…%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1(n)%7D%20%5C%5C%0A%09%5Clambda%7B2(n)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(n)%7D%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%201%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B17%7D%0A#card=math&code=%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28r%2B1%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28r%2B1%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br%28r%2B1%29%7D%5C%5C%0A%091%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28r%2B2%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28r%2B2%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br%28r%2B2%29%7D%5C%5C%0A%090%5C%5C%0A%20%201%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D…%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28n%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28n%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda_%7Br%28n%29%7D%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%201%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B17%7D%0A&height=156&width=583)
这下我们就能很容易看出为什么要取一个为 1，其他都为 0，目的就是为了一定能得到 个线性无关且各自唯一表示的列向量。
那么有可能还有其他的线性无关的向量吗？
也就是比如我们再随便给出一个列向量：
想要使 
，且与（12）我们已经得到的 个解线性无关。这是不可能的。
我们用反证法来证明这个命题，现在有一个 
满足“想要使 ，且与（12）我们已经得到的 个解线性无关这个假设，那么，我们一定可以将 表示成如下的形式：
%7D%20%5C%5C%0A%09%5Clambda%7B2(r%2B1)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(r%2B1)%7D%5C%5C%0A%091%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%2Bc%7Br%2B2%7D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1(r%2B2)%7D%20%5C%5C%0A%09%5Clambda%7B2(r%2B2)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(r%2B2)%7D%5C%5C%0A%090%5C%5C%0A%20%201%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%2B…%2Bc%7Bn%7D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1(n)%7D%20%5C%5C%0A%09%5Clambda%7B2(n)%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br(n)%7D%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%201%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%2B%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%7B%5Clambda%7B1%7D%7D%5E*%20%5C%5C%0A%09%7B%5Clambda%7B2%7D%7D%5E%20%5C%5C%0A%09…%20%5C%5C%0A%09%7B%5Clambda_%7Br%7D%7D%5E%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B19%7D%0A#card=math&code=%7B%5Cvec%7Bx%7D%7D%5E%2A%3D%0Ac%7Br%2B1%7D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28r%2B1%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28r%2B1%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br%28r%2B1%29%7D%5C%5C%0A%091%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%2Bc%7Br%2B2%7D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28r%2B2%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28r%2B2%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br%28r%2B2%29%7D%5C%5C%0A%090%5C%5C%0A%20%201%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%2B…%2Bc%7Bn%7D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Clambda%7B1%28n%29%7D%20%5C%5C%0A%09%5Clambda%7B2%28n%29%7D%20%5C%5C%0A%09…%20%5C%5C%0A%09%5Clambda%7Br%28n%29%7D%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%201%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%2B%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%7B%5Clambda%7B1%7D%7D%5E%2A%20%5C%5C%0A%09%7B%5Clambda%7B2%7D%7D%5E%2A%20%5C%5C%0A%09…%20%5C%5C%0A%09%7B%5Clambda_%7Br%7D%7D%5E%2A%5C%5C%0A%090%5C%5C%0A%20%200%5C%5C%0A%20%20…%5C%5C%0A%20%200%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B19%7D%0A&height=156&width=583)
简写为：
关键来了， 
一定不是零向量，因为这是我们假设要求的线性无关。
然后我们在（15）等式两端乘以 ，便得到：
再以列向量的线性组合表示出来：
由（18）式，我们得到了 
线性相关，这和我们最开始的假定是矛盾的，所以我们由反证法得出，不存在更多线性无关的解了，也就是说 
%3Dn-r#card=math&code=dim%5Cspace%20N%28A%29%3Dn-r&height=16&width=108) ， 为 的秩。
当然，以上这种证明只是我自己做笔记时想出来的，肯定很繁琐，之后学习了矩阵的秩会有相关性质进行简洁的证明。
综合列空间，我们可以得到，对于 
，若 
%3Dr#card=math&code=rank%28A%29%3Dr&height=16&width=73) ，则有：
%3Dr%2Cdim%20%5Cspace%20N(A)%3Dn-r%0A%5Ctag%7B24%7D%0A#card=math&code=dim%20%5Cspace%20C%28A%29%3Dr%2Cdim%20%5Cspace%20N%28A%29%3Dn-r%0A%5Ctag%7B24%7D%0A&height=16&width=583)
列空间和零空间对于理解非齐次线性方程组的解是非常有帮助的，列空间告诉我们什么时候有解什么时候无解，零空间告诉我们，解的结构应该是什么样子。
7 齐次线性方程组的求解
思路
考虑以下 ，并进行行变换得到简化阶梯型矩阵 ：
现在，记：
%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%092%20%26%20-2%20%5C%5C%0A%090%20%26%202%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B26%7D%0A#card=math&code=I%7Br%C3%97r%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%091%20%26%200%20%5C%5C%0A%090%20%26%201%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%2C%0AF%7Br%C3%97%28n-r%29%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%092%20%26%20-2%20%5C%5C%0A%090%20%26%202%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B26%7D%0A&height=36&width=583)
那么 可以表示为：
%7D%20%5C%5C%0A%09%5Cvec0%7B(m-r)%C3%97r%7D%20%26%20%5Cvec0%7B(m-r)%C3%97(n-r)%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B27%7D%0A#card=math&code=R%7Bm%C3%97n%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09I%7Br%C3%97r%7D%20%26%20F%7Br%C3%97%28n-r%29%7D%20%5C%5C%0A%09%5Cvec0%7B%28m-r%29%C3%97r%7D%20%26%20%5Cvec0_%7B%28m-r%29%C3%97%28n-r%29%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B27%7D%0A&height=43&width=583)
设 
%7D#card=math&code=N_%7Bn%C3%97%28n-r%29%7D&height=17&width=50) 为：
%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09-F%7Br%C3%97(n-r)%7D%20%5C%5C%0A%09I%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B28%7D%0A#card=math&code=N%7Bn%C3%97%28n-r%29%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09-F%7Br%C3%97%28n-r%29%7D%20%5C%5C%0A%09I_%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Ctag%7B28%7D%0A&height=37&width=583)
接下来计算 
：
%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09-F%7Br%C3%97(n-r)%7D%2BF%7Br%C3%97(n-r)%7D%20%5C%5C%0A%09%5Cvec0%7B(m-r)%C3%97(n-r)%7D%2B%5Cvec0%7B(m-r)%C3%97(n-r)%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Cvec0%7Br%C3%97(n-r)%7D%20%5C%5C%0A%09%5Cvec0%7B(m-r)%C3%97(n-r)%7D%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%3D%0A%5Cvec%7B0%7D%0A%5Ctag%7B29%7D%0A#card=math&code=R%7Bm%C3%97n%7DN%7Bn%C3%97%28n-r%29%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09-F%7Br%C3%97%28n-r%29%7D%2BF%7Br%C3%97%28n-r%29%7D%20%5C%5C%0A%09%5Cvec0%7B%28m-r%29%C3%97%28n-r%29%7D%2B%5Cvec0%7B%28m-r%29%C3%97%28n-r%29%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09%5Cvec0%7Br%C3%97%28n-r%29%7D%20%5C%5C%0A%09%5Cvec0%7B%28m-r%29%C3%97%28n-r%29%7D%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%3D%0A%5Cvec%7B0%7D%0A%5Ctag%7B29%7D%0A&height=43&width=583)
这样我们就找出了 的一组解 %7D#card=math&code=N_%7Bn%C3%97%28n-r%29%7D&height=17&width=50) 。
计算机求解的过程
第一步，通过消元找出 。
第二步，找出主元变量和自由变量。
第三步，给自由变量赋值 0 和 1，并通过回代解出主变量。
举个例子：
由（23）可知解的形式为：
所以原齐次线性方程组的通解为：
其中， 
为任意实数。
8 非齐次线性方程组的求解
在了解了列空间和零空间之后，就可以对 何时有解和解的结构进行分析了。
非齐次线性方程组何时有解？
以下两命题等价：
- 当
#card=math&code=%5Cvec%7Bb%7D%20%5Cin%20C%28A%29&height=19&width=53) 时， 有解。 - 当 %3Drank(A%2C%5Cvec%7Bb%7D)#card=math&code=rank%28A%29%3Drank%28A%2C%5Cvec%7Bb%7D%29&height=19&width=128) 时， 有解。
具体而言， 元线性方程组 ：
- 无解的充要条件是 %3Crank(A%2C%5Cvec%7Bb%7D)#card=math&code=rank%28A%29%3Crank%28A%2C%5Cvec%7Bb%7D%29&height=19&width=128) 。
- 有唯一解的充要条件是 %3Drank(A%2C%5Cvec%7Bb%7D)%3Dn#card=math&code=rank%28A%29%3Drank%28A%2C%5Cvec%7Bb%7D%29%3Dn&height=19&width=155) 。
- 有无穷多解的充要条件是 %3Drank(A%2C%5Cvec%7Bb%7D)%3Cn#card=math&code=rank%28A%29%3Drank%28A%2C%5Cvec%7Bb%7D%29%3Cn&height=19&width=155) 。
接下来从简化行阶梯型 来分类：
解的结构
非齐次线性方程组 的通解为齐次线性方程组 的通解，加上非齐次线性方程组的任一特解 
：
%7D%20%5C%5C%0A%09I%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09k_1%20%5C%5C%0A%09%26%5Cddots%5C%5C%0A%09%26%26k%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%2B%0A%5Cvec%7Bx%7D%5E*%0A%5Ctag%7B34%7D%0A#card=math&code=%5Cvec%7Bx%7D%3D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09-F%7Br%C3%97%28n-r%29%7D%20%5C%5C%0A%09I%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%0A%5Cleft%5B%0A%09%5Cbegin%7Bmatrix%7D%0A%09k1%20%5C%5C%0A%09%26%5Cddots%5C%5C%0A%09%26%26k%7Bn-r%7D%20%0A%09%5Cend%7Bmatrix%7D%0A%5Cright%5D%2B%0A%5Cvec%7Bx%7D%5E%2A%0A%5Ctag%7B34%7D%0A&height=65&width=583)
线性无关；
