我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，我们知道 3.降维 - 图1 维球的体积为：

3.降维 - 图2

那么在球体积与边长为 3.降维 - 图3 的超立方体比值为：

3.降维 - 图4

这就是所谓的维度灾难，在高维数据中，主要样本都分布在立方体的边缘，所以数据集更加稀疏。

降维的算法分为：

  1. 直接降维，特征选择
  2. 线性降维，PCA，MDS等
  3. 分线性，流形包括 Isomap，LLE 等

为了方便，我们首先将协方差矩阵（数据集）写成中心化的形式：

3.降维 - 图5(xi-%5Coverline%7Bx%7D)%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7D(x_1-%5Coverline%7Bx%7D%2Cx_2-%5Coverline%7Bx%7D%2C%5Ccdots%2Cx_N-%5Coverline%7Bx%7D)(x_1-%5Coverline%7Bx%7D%2Cx_2-%5Coverline%7Bx%7D%2C%5Ccdots%2Cx_N-%5Coverline%7Bx%7D)%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7D(X%5ET-%5Cfrac%7B1%7D%7BN%7DX%5ET%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7BN1%7D%5ET)(X%5ET-%5Cfrac%7B1%7D%7BN%7DX%5ET%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7BN1%7D%5ET)%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ET(E_N-%5Cfrac%7B1%7D%7BN%7D%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7B1N%7D)(E_N-%5Cfrac%7B1%7D%7BN%7D%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7B1N%7D)%5ETX%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ETH_NH_N%5ETX%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ETH_NH_NX%3D%5Cfrac%7B1%7D%7BN%7DX%5ETHX%0A%5Cend%7Balign%7D%0A#card=math&code=%5Cbegin%7Balign%7DS%26%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%5Climits%7Bi%3D1%7D%5EN%28xi-%5Coverline%7Bx%7D%29%28x_i-%5Coverline%7Bx%7D%29%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7D%28x_1-%5Coverline%7Bx%7D%2Cx_2-%5Coverline%7Bx%7D%2C%5Ccdots%2Cx_N-%5Coverline%7Bx%7D%29%28x_1-%5Coverline%7Bx%7D%2Cx_2-%5Coverline%7Bx%7D%2C%5Ccdots%2Cx_N-%5Coverline%7Bx%7D%29%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7D%28X%5ET-%5Cfrac%7B1%7D%7BN%7DX%5ET%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7BN1%7D%5ET%29%28X%5ET-%5Cfrac%7B1%7D%7BN%7DX%5ET%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7BN1%7D%5ET%29%5ET%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ET%28E_N-%5Cfrac%7B1%7D%7BN%7D%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D%7B1N%7D%29%28E_N-%5Cfrac%7B1%7D%7BN%7D%5Cmathbb%7BI%7D%7BN1%7D%5Cmathbb%7BI%7D_%7B1N%7D%29%5ETX%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ETH_NH_N%5ETX%5Cnonumber%5C%5C%0A%26%3D%5Cfrac%7B1%7D%7BN%7DX%5ETH_NH_NX%3D%5Cfrac%7B1%7D%7BN%7DX%5ETHX%0A%5Cend%7Balign%7D%0A#crop=0&crop=0&crop=1&crop=1&id=vb9Uk&originHeight=311&originWidth=603&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

这个式子利用了中心矩阵 3.降维 - 图6的对称性，这也是一个投影矩阵。

线性降维-主成分分析 PCA

损失函数

主成分分析中，我们的基本想法是将所有数据投影到一个字空间中，从而达到降维的目标，为了寻找这个子空间，我们基本想法是：

  1. 所有数据在子空间中更为分散
  2. 损失的信息最小，即：在补空间的分量少

原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 3.降维 - 图7 个新的线性无关的单位基 3.降维 - 图8，降维就是取其中的 3.降维 - 图9 个基。于是对于一个样本 3.降维 - 图10，经过这个坐标变换后：

3.降维 - 图11ui%3D%5Csum%5Climits%7Bi%3D1%7D%5Eq(ui%5ETx_i)u_i%2B%5Csum%5Climits%7Bi%3Dq%2B1%7D%5Ep(ui%5ETx_i)u_i%0A#card=math&code=%5Chat%7Bx_i%7D%3D%5Csum%5Climits%7Bi%3D1%7D%5Ep%28ui%5ETx_i%29u_i%3D%5Csum%5Climits%7Bi%3D1%7D%5Eq%28ui%5ETx_i%29u_i%2B%5Csum%5Climits%7Bi%3Dq%2B1%7D%5Ep%28u_i%5ETx_i%29u_i%0A#crop=0&crop=0&crop=1&crop=1&id=ryuW1&originHeight=66&originWidth=440&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

对于数据集来说，我们首先将其中心化然后再去上面的式子的第一项，并使用其系数的平方平均作为损失函数并最大化：

3.降维 - 图12%5ETuj)%5E2%5Cnonumber%5C%5C%0A%26%3D%5Csum%5Climits%7Bj%3D1%7D%5Equj%5ETSu_j%5C%20%2C%5C%20s.t.%5C%20u_j%5ETu_j%3D1%0A%5Cend%7Balign%7D%0A#card=math&code=%5Cbegin%7Balign%7DJ%26%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%5Climits%7Bi%3D1%7D%5EN%5Csum%5Climits%7Bj%3D1%7D%5Eq%28%28x_i-%5Coverline%7Bx%7D%29%5ETu_j%29%5E2%5Cnonumber%5C%5C%0A%26%3D%5Csum%5Climits%7Bj%3D1%7D%5Equ_j%5ETSu_j%5C%20%2C%5C%20s.t.%5C%20u_j%5ETu_j%3D1%0A%5Cend%7Balign%7D%0A#crop=0&crop=0&crop=1&crop=1&id=prYKB&originHeight=137&originWidth=284&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

由于每个基都是线性无关的，于是每一个 3.降维 - 图13 的求解可以分别进行，使用拉格朗日乘子法：

3.降维 - 图14%3D%5Cmathop%7Bargmax%7D%7Bu_j%7Du_j%5ETSu_j%2B%5Clambda(1-u_j%5ETu_j)%0A#card=math&code=%5Cmathop%7Bargmax%7D%7Buj%7DL%28u_j%2C%5Clambda%29%3D%5Cmathop%7Bargmax%7D%7Bu_j%7Du_j%5ETSu_j%2B%5Clambda%281-u_j%5ETu_j%29%0A#crop=0&crop=0&crop=1&crop=1&id=cWIQa&originHeight=47&originWidth=444&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

于是：

3.降维 - 图15

可见，我们需要的基就是协方差矩阵的本征矢。损失函数最大取在本征值前 3.降维 - 图16 个最大值。

下面看其损失的信息最少这个条件，同样适用系数的平方平均作为损失函数，并最小化：

3.降维 - 图17%5ETuj)%5E2%5Cnonumber%5C%5C%0A%26%3D%5Csum%5Climits%7Bj%3Dq%2B1%7D%5Epuj%5ETSu_j%5C%20%2C%5C%20s.t.%5C%20u_j%5ETu_j%3D1%0A%5Cend%7Balign%7D%0A#card=math&code=%5Cbegin%7Balign%7DJ%26%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%5Climits%7Bi%3D1%7D%5EN%5Csum%5Climits%7Bj%3Dq%2B1%7D%5Ep%28%28x_i-%5Coverline%7Bx%7D%29%5ETu_j%29%5E2%5Cnonumber%5C%5C%0A%26%3D%5Csum%5Climits%7Bj%3Dq%2B1%7D%5Epu_j%5ETSu_j%5C%20%2C%5C%20s.t.%5C%20u_j%5ETu_j%3D1%0A%5Cend%7Balign%7D%0A#crop=0&crop=0&crop=1&crop=1&id=FC5z9&originHeight=137&originWidth=297&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

同样的：

3.降维 - 图18%3D%5Cmathop%7Bargmin%7D%7Bu_j%7Du_j%5ETSu_j%2B%5Clambda(1-u_j%5ETu_j)%0A#card=math&code=%5Cmathop%7Bargmin%7D%7Buj%7DL%28u_j%2C%5Clambda%29%3D%5Cmathop%7Bargmin%7D%7Bu_j%7Du_j%5ETSu_j%2B%5Clambda%281-u_j%5ETu_j%29%0A#crop=0&crop=0&crop=1&crop=1&id=hqLe0&originHeight=47&originWidth=437&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

损失函数最小取在本征值剩下的个最小的几个值。数据集的协方差矩阵可以写成 3.降维 - 图19，直接对这个表达式当然可以得到本征矢。

SVD 与 PCoA

下面使用实际训练时常常使用的 SVD 直接求得这个 3.降维 - 图20 个本征矢。

对中心化后的数据集进行奇异值分解：

3.降维 - 图21

于是：

3.降维 - 图22

因此，我们直接对中心化后的数据集进行 SVD，就可以得到特征值和特征向量 3.降维 - 图23，在新坐标系中的坐标就是：

3.降维 - 图24

由上面的推导，我们也可以得到另一种方法 PCoA 主坐标分析，定义并进行特征值分解：

3.降维 - 图25

由于：

3.降维 - 图26%0A#card=math&code=TU%5CSigma%3DU%5CSigma%28%5CSigma%5ET%5CSigma%29%0A#crop=0&crop=0&crop=1&crop=1&id=d2LkK&originHeight=29&originWidth=164&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

于是可以直接得到坐标。这两种方法都可以得到主成分，但是由于方差矩阵是 3.降维 - 图27 的，而 3.降维 - 图28 是 3.降维 - 图29 的，所以对样本量较少的时候可以采用 PCoA的方法。

p-PCA

下面从概率的角度对 PCA 进行分析，概率方法也叫 p-PCA。我们使用线性模型，类似之前 LDA，我们选定一个方向，对原数据 3.降维 - 图30 ，降维后的数据为 3.降维 - 图31。降维通过一个矩阵变换（投影）进行：

3.降维 - 图32%5C%5C%0Ax%26%3DWz%2B%5Cmu%2B%5Cvarepsilon%5C%5C%0A%5Cvarepsilon%26%5Csim%5Cmathcal%7BN%7D(0%2C%5Csigma%5E2%5Cmathbb%7BI%7D%7Bpp%7D)%0A%5Cend%7Balign%7D%0A#card=math&code=%5Cbegin%7Balign%7D%0Az%26%5Csim%5Cmathcal%7BN%7D%28%5Cmathbb%7BO%7D%7Bq1%7D%2C%5Cmathbb%7BI%7D%7Bqq%7D%29%5C%5C%0Ax%26%3DWz%2B%5Cmu%2B%5Cvarepsilon%5C%5C%0A%5Cvarepsilon%26%5Csim%5Cmathcal%7BN%7D%280%2C%5Csigma%5E2%5Cmathbb%7BI%7D%7Bpp%7D%29%0A%5Cend%7Balign%7D%0A#crop=0&crop=0&crop=1&crop=1&id=G2P12&originHeight=86&originWidth=152&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

对于这个模型，我么可以使用期望-最大（EM）的算法进行学习，在进行推断的时候需要求得 3.降维 - 图33#card=math&code=p%28z%7Cx%29#crop=0&crop=0&crop=1&crop=1&id=O3OWQ&originHeight=26&originWidth=55&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)，推断的求解过程和线性高斯模型类似。

3.降维 - 图34%3D%5Cfrac%7Bp(x%7Cz)p(z)%7D%7Bp(x)%7D%5C%5C%0A%26%5Cmathbb%7BE%7D%5Bx%5D%3D%5Cmathbb%7BE%7D%5BWz%2B%5Cmu%2B%5Cvarepsilon%5D%3D%5Cmu%5C%5C%0A%26Var%5Bx%5D%3DWW%5ET%2B%5Csigma%5E2%5Cmathbb%7BI%7D%7Bpp%7D%5C%5C%0A%5CLongrightarrow%20p(z%7Cx)%3D%5Cmathcal%7BN%7D(W%5ET(WW%5ET%2B%26%5Csigma%5E2%5Cmathbb%7BI%7D)%5E%7B-1%7D(x-%5Cmu)%2C%5Cmathbb%7BI%7D-W%5ET(WW%5ET%2B%5Csigma%5E2%5Cmathbb%7BI%7D)%5E%7B-1%7DW)%0A%5Cend%7Balign%7D%0A#card=math&code=%5Cbegin%7Balign%7D%0A%26p%28z%7Cx%29%3D%5Cfrac%7Bp%28x%7Cz%29p%28z%29%7D%7Bp%28x%29%7D%5C%5C%0A%26%5Cmathbb%7BE%7D%5Bx%5D%3D%5Cmathbb%7BE%7D%5BWz%2B%5Cmu%2B%5Cvarepsilon%5D%3D%5Cmu%5C%5C%0A%26Var%5Bx%5D%3DWW%5ET%2B%5Csigma%5E2%5Cmathbb%7BI%7D%7Bpp%7D%5C%5C%0A%5CLongrightarrow%20p%28z%7Cx%29%3D%5Cmathcal%7BN%7D%28W%5ET%28WW%5ET%2B%26%5Csigma%5E2%5Cmathbb%7BI%7D%29%5E%7B-1%7D%28x-%5Cmu%29%2C%5Cmathbb%7BI%7D-W%5ET%28WW%5ET%2B%5Csigma%5E2%5Cmathbb%7BI%7D%29%5E%7B-1%7DW%29%0A%5Cend%7Balign%7D%0A#crop=0&crop=0&crop=1&crop=1&id=pZZs1&originHeight=147&originWidth=657&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

小结

降维是解决维度灾难和过拟合的重要方法，除了直接的特征选择外，我们还可以采用算法的途径对特征进行筛选，线性的降维方法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进行中心化然后求奇异值分解或者对数据的协方差矩阵进行分解就可以得到其主要维度。非线性学习的方法如流形学习将投影面从平面改为超曲面。