1、行列式

（1）设A = ，则： 。即
其中：伴随矩阵

(2) 设A,B为n阶方阵，则，但不一定成立。

(3),A为n阶方阵。

(4) 设A为n阶方阵，（若A可逆），

(5)，A,B为方阵，但。

(6) 范德蒙行列式
设A是n阶方阵，是A的n个特征值，则

2、矩阵和张量

2.1、定义

矩阵
个数排成行列的表格称为矩阵，简记为，或者 。若，则称A是n阶矩阵或n阶方阵。
张量
几何代数中定义的张量是基于向量和矩阵的推广。0维的张量是标量（只有大小），一维的张量是向量（大小，方向），二维的张量是矩阵，三维及以上没有统称为张量
例如，可以将任意一张彩色图片表示成一个三阶张量，三个维度分别是图片的高度、宽度和色彩数据。将这张图用张量表示出来，就是最下方的那张表格：

其中表的横轴表示图片的宽度值，这里只截取 0~319；表的纵轴表示图片的高度值，这里只截取 0~4；表格中每个方格代表一个像素点，比如第一行第一列的表格数据为[1.0,1.0,1.0]，代表的就是 RGB 三原色在图片的这个位置的取值情况（即 R=1.0，G=1.0，B=1.0）。

单位矩阵**
，它是一个方阵，对角线的元素是1，其余元素都是0：

对于所有，有：

则

对角矩阵
对角矩阵是一种这样的矩阵：对角线之外的元素全为0。对角阵通常表示为：，其中：

转置矩阵
矩阵的转置是指翻转矩阵的行和列


对称矩阵
.矩阵的行和列对应相等

2.2、矩阵运算

矩阵的乘法
设是矩阵，是矩阵，那么矩阵，其中称为的乘积，记为 。
向量的内积
内积表示两个向量在多大程度上指向相同方向。如果将方向相似判定为“相似”，则两个向量相似时内积变大
，则内积为

• 当两个向量方向相反时，内积取得最小值。
• 当两个向量不平行时，内积取平行时的中间值。
• 当两个向量方向相同时，内积取得最大值。

  2.3、逆矩阵，转置矩阵和伴随矩阵

  逆矩阵
  ：，定义为**

三者之间的关系：
(1)
(2) 但 不一定成立。
(3)。但不一定成立。
(4)

有关伴随矩阵的结论
(1)
(2)
(3) 若A可逆，则
(4) 若A为n阶方阵，则：

有关的结论
A可逆可以表示为初等矩阵的乘积；。
分块求逆公式

这里A，B均为可逆方阵。

2.3、矩阵的秩

定义
方矩阵的迹，表示为，是矩阵中对角元素的总和：

有关矩阵秩的结论
(1) 秩r(A)=行秩=列秩；
(2)
(3) ；
(4) ;
(5) 初等变换不改变矩阵的秩
(6) ,特别若
则：
(7) 若存在; 若存在;
若; 若。
(8) 只有零解

2.4、矩阵的分解**

特征分解
特征分解是使用最广的矩阵分解之一，即将矩阵分解成一组特征向量和特征值。
方阵 A 的特征向量是指与 A 相乘后相当于对该向量进行缩放的非零向量：
标量被称为这个特征向量对应的特征值。
使用特征分解去分析矩阵 A 时，得到特征向量构成的矩阵 V 和特征值构成的向量，我们可以重新将 A 写作：

奇异值分解（Singular Value Decomposition，SVD）**
矩阵的特征分解是有前提条件的，那就是只有对可对角化的矩阵才可以进行特征分解。但实际中很多矩阵往往不满足这一条件，甚至很多矩阵都不是方阵，就是说连矩阵行和列的数目都不相等。这时候怎么办呢？人们将矩阵的特征分解进行推广，得到了一种叫作 “矩阵的奇异值分解” 的方法，简称 SVD。通过奇异分解，我们会得到一些类似于特征分解的信息。

它的具体做法是将一个普通矩阵分解为奇异向量和奇异值。比如将矩阵 A 分解成三个矩阵的乘积：
假设A 是一个 mn 矩阵，那么U 是一个 mm 矩阵，D 是一个 mn 矩阵，V 是一个 nn 矩阵。
这些矩阵每一个都拥有特殊的结构，其中 U 和 V 都是正交矩阵，D 是对角矩阵（注意，D 不一定是方阵）。对角矩阵 D 对角线上的元素被称为矩阵 A 的奇异值。矩阵 U 的列向量被称为左奇异向量，矩阵 V 的列向量被称右奇异向量。
SVD 最有用的一个性质可能是拓展矩阵求逆到非方矩阵上。另外，SVD 可用于推荐系统中。

2.5、Moore-Penrose 伪逆

对于非方矩阵而言，其逆矩阵没有定义。假设在下面问题中，我们想通过矩阵 A 的左逆 B 来求解线性方程：
等式两边同时左乘左逆 B 后，得到：
是否存在唯一的映射将 A 映射到 B 取决于问题的形式。
如果矩阵 A 的行数大于列数，那么上述方程可能没有解；如果矩阵 A 的行数小于列数，那么上述方程可能有多个解。
Moore-Penrose 伪逆使我们能够解决这种情况，矩阵 A 的伪逆定义为：

但是计算伪逆的实际算法没有基于这个式子，而是使用下面的公式：

其中，矩阵 U，D 和 V 是矩阵 A 奇异值分解后得到的矩阵。对角矩阵 D 的伪逆 D+ 是其非零元素取倒之后再转置得到的。

2.6、矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设是A的一个特征值，则 有一个特征值分别为
,且对应特征向量相同（ 例外）。

(2)若为A的n个特征值，则 ,从而没有特征值。

(3)设为A的个特征值，对应特征向量为，

若: ,
则: 。

2.相似变换、相似矩阵的概念及性质

(1) 若，则

1. 
2. 
3. ，对成立

3.矩阵可相似对角化的充分必要条件

(1)设A为n阶方阵，则A可对角化对每个重根特征值，有

(2) 设A可对角化，则由，有，从而

(3) 重要结论

1. 若，则
2. 若，则，其中f(A)为关于n阶方阵A的多项式。
3. 若A为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩(A)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设A,B为两个n阶方阵，如果存在一个可逆矩阵P，使得成立，则称矩阵A与B相似，记为。

(2)相似矩阵的性质：如果则有：

1. A^{T} \sim B^{T}
2. A^{- 1} \sim B^{- 1} （若A，B均可逆）
3. A^{k} \sim B^{k} （k为正整数）
4. \left| {λE} - A \right| = \left| {λE} - B \right|，从而A,B
   有相同的特征值
5. \left| A \right| = \left| B \right|，从而A,B同时可逆或者不可逆
6. 秩 =秩，A,B不一定相似

   3、向量及其相关定义

   3.1、相关定义

   向量
   一个向量就是一列数，这些数是有序排列的。用过次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：
   

向量空间
向量空间（Vector Space），也称线性空间（Linear Space），是指由向量组成的集合

线性无关
线性空间 𝒱 中的 𝑀 个向量 {𝒗1, 𝒗2, ⋯ , 𝒗𝑀}，如果对任意的一组标量𝜆1, 𝜆2, ⋯ , 𝜆𝑀，满足𝜆1𝒗1 + 𝜆2𝒗2 +⋯ + 𝜆𝑀𝒗𝑀 = 0，则必然 𝜆1 = 𝜆2 = ⋯ = 𝜆𝑀 =0，那么{𝒗1 ,𝒗2, ⋯ , 𝒗𝑀}是线性无关的，也称为线性独立的。
几何意义：在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立，反之称为线性相关。

内积（点积）
一个𝑁 维线性空间中的两个向量𝒂和𝒃，其内积（Inner Product）为
外积
一个𝑁 维线性空间中的两个向量𝒂和𝒃，其内积（Inner Product）为

范数
有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数 (norm) 的函数衡量矩阵大小。
L 范数如下：

L 范数：为 x 向量各个元素绝对值之和；
L范数：为 x 向量各个元素平方和的开方。为线段的长度，也常称为向量的模．
**

3.2、线性相关

有关向量组的线性相关性
(1)部分相关，整体相关；整体无关，部分无关.
(2) ① n个n维向量
线性无关， n个n维向量线性相关

② n + 1个n维向量线性相关。
③ 若线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

有关向量组的线性表示
(1) 线性相关至少有一个向量可以用其余向量线性表示。
(2) 线性无关，线性相关可以由唯一线性表示。
(3) 可以由线性表示

3.3、向量组的秩

定义：

向量组的秩与矩阵的秩之间的关系

设，则A的秩r(A)与A的行列向量组的线性相关性关系为：

(1) 若，则A的行向量组线性无关。

(2) 若，则A的行向量组线性相关。

(3) 若，则A的列向量组线性无关。

(4) 若，则A的列向量组线性相关。

3.4、向量的基及变换公式

维向量空间的基变换公式及过渡矩阵

若与是向量空间V的两组基，则基变换公式为：

其中C是可逆矩阵，称为由基到基的过渡矩阵。

坐标变换公式

若向量在基与基的坐标分别是，

即： ，则向量坐标变换公式为或，其中是从基到基的过渡矩阵。

Schmidt正交化

若线性无关，则可构造使其两两正交，且\beta{i}仅是的线性组合，再把单位化，记是规范正交向量组。其中

…………

正交基及规范正交基
向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

4、线性方程组

1．克莱姆法则

线性方程组，如果系数行列式，则方程组有唯一解，，其中D{j}是把D中第j列元素换成方程组右端的常数列所得的行列式。

2. n阶矩阵A可逆只有零解。,Ax = b总有唯一解，一般地，只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设A为矩阵，若，则对Ax =b而言必有，从而有解。

(2) 设}为的解，则当时仍为的解；但当时，则为Ax =0的解。特别为的解；的解。

(3) 非齐次线性方程组无解不能由A的列向量线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是，解空间的一组基称为齐次方程组的基础解系。

(2)是的基础解系，即：

1. 是是的解；
2. 线性无关；
3. 的任一解都可以由线性表出.
   是的通解，其中是任意常数。

5、二次型

1.}个变量的二次齐次函数

，其中，称为n元二次型，简称二次型. 若令,这二次型f可改写成矩阵向量形式。其中A称为二次型矩阵，因为，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵A的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型经过合同变换化为

称为的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由r(A)唯一确定。

(3) 规范形

任一实二次型f都可经过合同变换化为规范形，其中r为A的秩，p为正惯性指数，r -p为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设A正定,A可逆；，且

A，B正定正定，但不一定正定

A正定

的各阶顺序主子式全大于零

的所有特征值大于零

的正惯性指数为n

\存在可逆阵P使

正交矩阵Q，使

其中.正定正定； |A| > 0,A可逆；。