向量

image.png

  • 标量：只有大小，没有方向
  • 矢量/向量：既有大小又有方向

为什么要有方向呢？这应该是为了描述多维的空间而非平面空间。

线性变换

T(v+w)=T(v)+T(w)
T(cv)=cT(v)
两个向量之和的线性变换等于变换后的两个向量之和
某个向量的常数倍的变换等于某个向量变换后的常数倍

矩阵

多个向量组成矩阵。

  • 矩阵运算法则
  1. 矩阵的加减法

两个矩阵对应的元素相加/相减。这要求两个矩阵行列数都一样。
矩阵交换律：A+B=B+A

  1. 矩阵乘法

两个矩阵相乘，第一个矩阵的行向量乘以第二个矩阵的列向量，简记行乘列。
假设A是m✖️n，而B是n✖️p，则A✖️B是个m✖️p的矩阵。这里要求A的列数等于B的行数
这个新矩阵的第i行第j列元素等于A的第i行乘以B的第j列元素之和。
矩阵相乘是有方向性的！AB≠BA

矩阵乘以常数，等于矩阵各个元素分别乘以这个常数。

  • 常见的矩阵概念
  1. 单位矩阵：只有主对角线的元素为1，其他元素都为0的矩阵。

常用符号I表示。AI=A，IA=A。

  1. 逆矩阵：矩阵A和他的逆矩阵Aˉ相乘等于单位矩阵I。

A=[[a b] [c d]]
|A|=ad-bc A的行列式等于主对角线之积减去副对角线之积
A=[[d -b] [-c d]]/|A|

  1. 奇异矩阵：没有逆矩阵的矩阵

没有逆矩阵表明其行列式等于0。

  1. 矩阵的转置：矩阵行列互换。AT表示A的转置矩阵。

转置运算特性：
ATT=A
(AB)T=BTAT

  1. 对称矩阵：转置后等于原矩阵的矩阵

一般来说，对称矩阵都是构造出来的：AT*A就是一个对称矩阵。

  1. 欧式变换

欧式变换包括两部分：

  • 旋转

  • 平移

    导数&偏导数

  • 导数

导数是曲线的斜率，或者说函数的变化率。
当导数大于0，曲线上升；当导数小于0，曲线下降。
当曲线等于0时，曲线处于极值点（极大值点或极小值点）。

  • 偏导数

多元函数对某个变量求导。可以看作是查看这个变量对函数的影响程度。

梯度和梯度下降法

  1. 梯度
  1. 梯度下降法

概率论基础

熵

kl散度