参数估计

一维高斯分布， 高斯分布 - 图1#card=math&code=x%20%5Csim%20N%28%5Cmu%2C%5Csigma%5E2%29)

极大似然估计：高斯分布 - 图2%20%5C%5C%20%5Chat%7B%5Csigma%7D%5E2%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%7Bi%3D1%7D%5E%7BN%7D(x_i-%5Chat%7B%5Cmu%7D)%5E2%2C%20(%E6%9C%89%E5%81%8F)%20%5Cend%7Bcases%7D#card=math&code=%5Cbegin%7Bcases%7D%20%5Chat%7B%5Cmu%7D%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%7Bi%3D1%7D%5E%7BN%7Dxi%2C%20%28%E6%97%A0%E5%81%8F%29%20%5C%5C%20%5Chat%7B%5Csigma%7D%5E2%3D%5Cfrac%7B1%7D%7BN%7D%5Csum%7Bi%3D1%7D%5E%7BN%7D%28x_i-%5Chat%7B%5Cmu%7D%29%5E2%2C%20%28%E6%9C%89%E5%81%8F%29%20%5Cend%7Bcases%7D)

高斯分布 - 图3 的无偏估计是 高斯分布 - 图4%5E2#card=math&code=%5Cfrac%7B1%7D%7BN-1%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%28x_i-%5Chat%7B%5Cmu%7D%29%5E2)

极大似然估计让 高斯分布 - 图5 被估计小了

多维高斯分布

密度函数： 高斯分布 - 图6

马氏距离（二次型）： 高斯分布 - 图7

当 高斯分布 - 图8 时，马氏距离就等于欧氏距离

马氏距离的含义

对 高斯分布 - 图9 进行正交分解（实对称矩阵可以被正交分解【酉分解】）：

高斯分布 - 图10%2CU%3D(u_1%2Cu_2%2C%5Cdots%2Cu_p)%0A#card=math&code=%5CSigma%3DU%5CLambda%20U%5ET%2C%20UU%5ET%3DU%5ETU%3DI%2C%5CLambda%3Ddiag%28%5Clambda_i%29%2CU%3D%28u_1%2Cu_2%2C%5Cdots%2Cu_p%29%0A)

高斯分布 - 图11%0A%20%20%20%20%20%20%20%20%5Cleft(%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Clambda1%20%26%200%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200%20%26%20%5Clambda_2%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200%20%26%200%20%26%20%5Ccdots%20%26%20%5Clambda_p%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Cend%7Bmatrix%7D%20%0A%20%20%20%20%20%20%20%20%5Cright)%0A%20%20%20%20%09%5Cleft(%20%0A%20%20%20%20%09%09%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%09%09%09u_1%5ET%20%5C%5C%20u_2%5ET%20%5C%5C%20%5Cvdots%20%5C%5C%20u_p%5ET%0A%20%20%20%20%09%09%5Cend%7Bmatrix%7D%0A%20%20%20%20%09%5Cright)%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Cleft(%20%0A%20%20%20%20%09%09u_1%5Clambda_1%20%5C%20u_2%5Clambda_2%20%5C%20%5Ccdots%20%5C%20u_p%5Clambda_p%20%0A%20%20%20%20%09%5Cright)%0A%20%20%20%20%09%5Cleft(%20%0A%20%20%20%20%09%09%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%09%09%09u_1%5ET%20%5C%5C%20u_2%5ET%20%5C%5C%20%5Cvdots%20%5C%5C%20u_p%5ET%0A%20%20%20%20%09%09%5Cend%7Bmatrix%7D%0A%20%20%20%20%09%5Cright)%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epui%5Clambda_iu_i%5ET%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%09%5CSigma%20%26%20%3D%20U%5CLambda%20U%5ET%20%5C%5C%0A%20%20%20%20%26%20%3D%09%5Cleft%28%0A%20%20%20%20%09%09u_1%5C%20u_2%5C%20%5Cdots%5C%20u_p%20%0A%20%20%20%20%09%5Cright%29%0A%20%20%20%20%20%20%20%20%5Cleft%28%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Clambda_1%20%26%200%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200%20%26%20%5Clambda_2%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200%20%26%200%20%26%20%5Ccdots%20%26%20%5Clambda_p%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Cend%7Bmatrix%7D%20%0A%20%20%20%20%20%20%20%20%5Cright%29%0A%20%20%20%20%09%5Cleft%28%20%0A%20%20%20%20%09%09%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%09%09%09u_1%5ET%20%5C%5C%20u_2%5ET%20%5C%5C%20%5Cvdots%20%5C%5C%20u_p%5ET%0A%20%20%20%20%09%09%5Cend%7Bmatrix%7D%0A%20%20%20%20%09%5Cright%29%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Cleft%28%20%0A%20%20%20%20%09%09u_1%5Clambda_1%20%5C%20u_2%5Clambda_2%20%5C%20%5Ccdots%20%5C%20u_p%5Clambda_p%20%0A%20%20%20%20%09%5Cright%29%0A%20%20%20%20%09%5Cleft%28%20%0A%20%20%20%20%09%09%5Cbegin%7Bmatrix%7D%20%0A%20%20%20%20%09%09%09u_1%5ET%20%5C%5C%20u_2%5ET%20%5C%5C%20%5Cvdots%20%5C%5C%20u_p%5ET%0A%20%20%20%20%09%09%5Cend%7Bmatrix%7D%0A%20%20%20%20%09%5Cright%29%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epu_i%5Clambda_iu_i%5ET%0A%5Cend%7Bsplit%7D%0A)

计算

高斯分布 - 图12%5E%7B-1%7D%3D(U%5ET)%5E%7B-1%7D%5CLambda%5E%7B-1%7DU%5E%7B-1%7D%3DU%5CLambda%5E%7B-1%7DU%5ET%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epu_i%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%20%20%20%20%5CSigma%5E%7B-1%7D%20%26%20%3D%28U%5CLambda%20U%5ET%29%5E%7B-1%7D%3D%28U%5ET%29%5E%7B-1%7D%5CLambda%5E%7B-1%7DU%5E%7B-1%7D%3DU%5CLambda%5E%7B-1%7DU%5ET%20%5C%5C%0A%20%20%20%20%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epu_i%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET%0A%5Cend%7Bsplit%7D%0A)

则马氏距离变形成为：

高斯分布 - 图13%5ET%5CSigma%5E%7B-1%7D(x-%5Cmu)%20%26%20%3D%20(x-%5Cmu)%5ET%5Csum%7Bi%3D1%7D%5Epu_i%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET(x-%5Cmu)%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Ep(x-%5Cmu)%5ETui%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET(x-%5Cmu)%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epyi%5Cfrac%7B1%7D%7B%5Clambda_i%7Dy_i%5ET%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Ep%5Cfrac%7Byi%5E2%7D%7B%5Clambda_i%7D%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%28x-%5Cmu%29%5ET%5CSigma%5E%7B-1%7D%28x-%5Cmu%29%20%26%20%3D%20%28x-%5Cmu%29%5ET%5Csum%7Bi%3D1%7D%5Epui%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET%28x-%5Cmu%29%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Ep%28x-%5Cmu%29%5ETui%5Cfrac%7B1%7D%7B%5Clambda_i%7Du_i%5ET%28x-%5Cmu%29%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Epyi%5Cfrac%7B1%7D%7B%5Clambda_i%7Dy_i%5ET%20%5C%5C%0A%26%20%3D%20%5Csum%7Bi%3D1%7D%5Ep%5Cfrac%7By_i%5E2%7D%7B%5Clambda_i%7D%0A%5Cend%7Bsplit%7D%0A)

其中 高斯分布 - 图14%5ETu_i#card=math&code=y_i%3D%28x-%5Cmu%29%5ETu_i)

假设 高斯分布 - 图15 ，即 高斯分布 - 图16 服从二维高斯分布，则马氏距离 高斯分布 - 图17 ，如果马氏距离为一个定值，假设是 高斯分布 - 图18 ，则这个二维高斯分布的等密度函数线应该是一个椭圆，椭圆的形状与 高斯分布 - 图19 和 高斯分布 - 图20 有关。其中，高斯分布 - 图21 即是向量 高斯分布 - 图22%5ET#card=math&code=%28x-%5Cmu%29%5ET) 在 高斯分布 - 图23 方向上的投影。

局限性

密度函数可以写为：

高斯分布 - 图24%3D%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%7B%5Cfrac%7Bp%7D%7B2%7D%7D%7C%5CSigma%7C%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%7Dexp(-%5Cfrac%7B1%7D%7B2%7D%5Cbigtriangleup)%0A#card=math&code=p%28x%29%3D%5Cfrac%7B1%7D%7B%282%5Cpi%29%5E%7B%5Cfrac%7Bp%7D%7B2%7D%7D%7C%5CSigma%7C%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%7Dexp%28-%5Cfrac%7B1%7D%7B2%7D%5Cbigtriangleup%29%0A)

  1. 高斯分布 - 图25 参数个数为 高斯分布 - 图26%7D%7B2%7D%3DO(p%5E2)#card=math&code=%5Cfrac%7Bp%28p%2B1%29%7D%7B2%7D%3DO%28p%5E2%29) 个，高维情况下参数太多：对 高斯分布 - 图27 做一些简化，比如是对角阵或者各向同性；
  2. 不能描述更复杂的数据分布

边缘分布和条件分布

将 高斯分布 - 图28 按维度分组：

高斯分布 - 图29

其中 高斯分布 - 图30 和 高斯分布 - 图31 分别对应 高斯分布 - 图32 维和 高斯分布 - 图33 维，高斯分布 - 图34

求：高斯分布 - 图35%2CP(x_b%7Cx_a)#card=math&code=P%28x_a%29%2CP%28x_b%7Cx_a%29)

定理： 高斯分布 - 图36%20%5C%5C%0A%09%26%20y%20%3D%20AX%20%2B%20B%20%5C%5C%0A%09%26%20y%20%5Csim%20N(A%5Cmu%2BB%2C%20A%5CSigma%20A%5ET)%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%09%26%20X%20%5Csim%20N%28%5Cmu%2C%5CSigma%29%20%5C%5C%0A%09%26%20y%20%3D%20AX%20%2B%20B%20%5C%5C%0A%09%26%20y%20%5Csim%20N%28A%5Cmu%2BB%2C%20A%5CSigma%20A%5ET%29%0A%5Cend%7Bsplit%7D%0A)

配方法（PRML）

求 高斯分布 - 图37#card=math&code=P%28x_a%29) :

构造 高斯分布 - 图38

其中 高斯分布 - 图39 则：

高斯分布 - 图40%20%26%20%3D%20%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%26%20O%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D%0A%5Cmu%20%7Ba%7D%20%5C%5C%0A%5Cmu%20%7Bb%7D%0A%5Cend%7Bpmatrix%7D%3D%5Cmu%20%7Ba%7D%20%5C%5C%0AVar%5Cleft(%20x%7Ba%7D%5Cright)%20%26%20%3D%20%5Cbegin%7Bpmatrix%7DI%7Bm%7D%20%26%200%7Bn%7D%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0A%5CSigma%20%7Baa%7D%20%26%20%5CSigma%20%7Bab%7D%20%5C%5C%0A%5CSigma%20%7Bba%7D%20%26%20%5CSigma%20%7Bbb%7D%0A%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%5C%5C%0A0%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5C%5C%0A%26%20%3D%20%5Cbegin%7Bpmatrix%7D%0A%5CSigma%20%7Baa%7D%20%26%20%5CSigma%20%7Bab%7D%0A%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%5C%5C%0A0%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5C%5C%0A%26%20%3D%20%5CSigma%7Baa%7D%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0AE%5Cleft%28%20x%7Ba%7D%5Cright%29%20%26%20%3D%20%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%26%20O%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D%0A%5Cmu%20%7Ba%7D%20%5C%5C%0A%5Cmu%20%7Bb%7D%0A%5Cend%7Bpmatrix%7D%3D%5Cmu%20%7Ba%7D%20%5C%5C%0AVar%5Cleft%28%20x%7Ba%7D%5Cright%29%20%26%20%3D%20%5Cbegin%7Bpmatrix%7DI%7Bm%7D%20%26%200%7Bn%7D%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0A%5CSigma%20%7Baa%7D%20%26%20%5CSigma%20%7Bab%7D%20%5C%5C%0A%5CSigma%20%7Bba%7D%20%26%20%5CSigma%20%7Bbb%7D%0A%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%5C%5C%0A0%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5C%5C%0A%26%20%3D%20%5Cbegin%7Bpmatrix%7D%0A%5CSigma%20%7Baa%7D%20%26%20%5CSigma%20%7Bab%7D%0A%5Cend%7Bpmatrix%7D%0A%5Cbegin%7Bpmatrix%7D%0AI%7Bm%7D%20%5C%5C%0A0%7Bn%7D%0A%5Cend%7Bpmatrix%7D%5C%5C%0A%26%20%3D%20%5CSigma_%7Baa%7D%0A%5Cend%7Bsplit%7D%0A)

即求得 高斯分布 - 图41#card=math&code=Xa%5Csim%20N%28%5Cmu_a%2C%5CSigma%7Baa%7D%29)

求 高斯分布 - 图42#card=math&code=P%28x_b%7Cx_a%29) :

构造（Schur complementary）：

高斯分布 - 图43

其中：

高斯分布 - 图44

则：

高斯分布 - 图45

所以 高斯分布 - 图46#card=math&code=x%7Bb%20%5Ccdot%20a%7D%20%5Csim%20N%28%5Cmu%7Bb%20%5Ccdot%20a%7D%2C%5CSigma_%7Bbb%20%5Ccdot%20a%7D%29)

由最初的构造有：高斯分布 - 图47

因为在 高斯分布 - 图48 的条件下 高斯分布 - 图49 是常数

所以：

高斯分布 - 图50%20%26%20%3D%20%5Cmu%7Bb%20%5Ccdot%20a%7D%20%2B%20%5CSigma%7Bba%7D%5CSigma%7Baa%7D%5E%7B-1%7Dx_a%20%5C%5C%0A%09Var(x_b%7Cx_a)%20%26%20%3D%20Var(x%7Bb%20%5Ccdot%20a%7D)%20%3D%20%5CSigma%7Bbb%20%5Ccdot%20a%7D%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%09E%28x%7Bb%7D%7Cx%7Ba%7D%29%20%26%20%3D%20%5Cmu%7Bb%20%5Ccdot%20a%7D%20%2B%20%5CSigma%7Bba%7D%5CSigma%7Baa%7D%5E%7B-1%7Dxa%20%5C%5C%0A%09Var%28x_b%7Cx_a%29%20%26%20%3D%20Var%28x%7Bb%20%5Ccdot%20a%7D%29%20%3D%20%5CSigma_%7Bbb%20%5Ccdot%20a%7D%0A%5Cend%7Bsplit%7D%0A)

即：高斯分布 - 图51#card=math&code=xb%7Cx_a%20%5Csim%20N%28%5Cmu%7Bb%20%5Ccdot%20a%7D%20%2B%20%5CSigma%7Bba%7D%5CSigma%7Baa%7D%5E%7B-1%7Dxa%2C%20%5CSigma%7Bbb%20%5Ccdot%20a%7D%29)

联合概率分布

已知：

高斯分布 - 图52%20%5Csim%20N(x%7C%5Cmu%2C%5CLambda%5E%7B-1%7D)%20%5C%5C%0A%09p(y%7Cx)%20%5Csim%20N(y%7CAx%2Bb%2C%20L%5E%7B-1%7D)%0A%5Cend%7Bcases%7D%0A#card=math&code=%5Cbegin%7Bcases%7D%0A%09p%28x%29%20%5Csim%20N%28x%7C%5Cmu%2C%5CLambda%5E%7B-1%7D%29%20%5C%5C%0A%09p%28y%7Cx%29%20%5Csim%20N%28y%7CAx%2Bb%2C%20L%5E%7B-1%7D%29%0A%5Cend%7Bcases%7D%0A)

其中 高斯分布 - 图53 是精度矩阵（precision matrix），即协方差矩阵（covariance matrix）的逆。

求：高斯分布 - 图54%2C%20p(x%7Cy)#card=math&code=p%28y%29%2C%20p%28x%7Cy%29)

贝叶斯定理： 高斯分布 - 图55%20%3D%20%5Cfrac%7Bp(y%7Cx)p(x)%7D%7Bp(y)%7D%0A#card=math&code=p%28x%7Cy%29%20%3D%20%5Cfrac%7Bp%28y%7Cx%29p%28x%29%7D%7Bp%28y%29%7D%0A)

解：首先定义 高斯分布 - 图56#card=math&code=y%3DAx%2Bb%2B%5Cepsilon%2C%5C%20%20%5Cepsilon%20%5Csim%20N%280%2C%20L%5E%7B-1%7D%29) 并且 高斯分布 - 图57

高斯分布 - 图58%20%26%20%3D%20E(Ax%2Bb%2B%5Cepsilon)%20%3D%20E(Ax%2Bb)%20%2B%20E(%5Cepsilon)%20%3D%20A%5Cmu%2Bb%20%5C%5C%0AVar(y)%20%26%20%3D%20Var(Ax%2Bb%2B%5Cepsilon)%20%3D%20Var(Ax%2Bb)%20%2B%20Var(%5Cepsilon)%20%5C%5C%0A%26%20%3D%20A%5CLambda%5E%7B-1%7DA%5ET%2BL%5E%7B-1%7D%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0AE%28y%29%20%26%20%3D%20E%28Ax%2Bb%2B%5Cepsilon%29%20%3D%20E%28Ax%2Bb%29%20%2B%20E%28%5Cepsilon%29%20%3D%20A%5Cmu%2Bb%20%5C%5C%0AVar%28y%29%20%26%20%3D%20Var%28Ax%2Bb%2B%5Cepsilon%29%20%3D%20Var%28Ax%2Bb%29%20%2B%20Var%28%5Cepsilon%29%20%5C%5C%0A%26%20%3D%20A%5CLambda%5E%7B-1%7DA%5ET%2BL%5E%7B-1%7D%0A%5Cend%7Bsplit%7D%0A)

则：高斯分布 - 图59#card=math&code=y%20%5Csim%20N%28A%5Cmu%2Bb%2CA%5CLambda%5E%7B-1%7DA%5ET%2BL%5E%7B-1%7D%29)

构造 高斯分布 - 图60#card=math&code=z%3D%5Cbegin%7Bpmatrix%7Dx%5C%5Cy%5Cend%7Bpmatrix%7D%5Csim%20N%5Cleft%28%5Cbegin%7Bpmatrix%7D%5Cmu%5C%5CA%5Cmu%2Bb%5Cend%7Bpmatrix%7D%2C%5Cbegin%7Bpmatrix%7D%5CLambda%5E%7B-1%7D%20%26%20%5CDelta%20%5C%5C%20%5CDelta%5ET%20%26%20A%5CLambda%5E%7B-1%7DA%5ET%2BL%5E%7B-1%7D%5Cend%7Bpmatrix%7D%5Cright%29)

其中

高斯分布 - 图61%20%5C%5C%0A%09%26%20%3D%20E%5B(x-E(x))%5Ccdot(y-E(y))%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)%5Ccdot(y-A%5Cmu-b)%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)%5Ccdot(Ax%2Bb%2B%5Cepsilon-A%5Cmu-b)%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)%5Ccdot(Ax-A%5Cmu%2B%5Cepsilon)%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(Ax-A%5Cmu)%5ET%2B(x-%5Cmu)%5Cepsilon%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(Ax-A%5Cmu)%5ET%5D%2BE%5B(x-%5Cmu)%5Cepsilon%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(Ax-A%5Cmu)%5ET%5D%2BE(x-%5Cmu)E(%5Cepsilon)%5ET%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(Ax-A%5Cmu)%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(x-%5Cmu)%5ETA%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B(x-%5Cmu)(x-%5Cmu)%5ET%5DA%5ET%20%5C%5C%0A%09%26%20%3D%20Var(x)A%5ET%20%5C%5C%0A%09%26%20%3D%20%5CLambda%5E%7B-1%7DA%5ET%0A%5Cend%7Bsplit%7D%0A#card=math&code=%5Cbegin%7Bsplit%7D%0A%09%5CDelta%20%26%20%3D%20Cov%28x%2Cy%29%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-E%28x%29%29%5Ccdot%28y-E%28y%29%29%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%5Ccdot%28y-A%5Cmu-b%29%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%5Ccdot%28Ax%2Bb%2B%5Cepsilon-A%5Cmu-b%29%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%5Ccdot%28Ax-A%5Cmu%2B%5Cepsilon%29%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28Ax-A%5Cmu%29%5ET%2B%28x-%5Cmu%29%5Cepsilon%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28Ax-A%5Cmu%29%5ET%5D%2BE%5B%28x-%5Cmu%29%5Cepsilon%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28Ax-A%5Cmu%29%5ET%5D%2BE%28x-%5Cmu%29E%28%5Cepsilon%29%5ET%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28Ax-A%5Cmu%29%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28x-%5Cmu%29%5ETA%5ET%5D%20%5C%5C%0A%09%26%20%3D%20E%5B%28x-%5Cmu%29%28x-%5Cmu%29%5ET%5DA%5ET%20%5C%5C%0A%09%26%20%3D%20Var%28x%29A%5ET%20%5C%5C%0A%09%26%20%3D%20%5CLambda%5E%7B-1%7DA%5ET%0A%5Cend%7Bsplit%7D%0A)

于是得到 高斯分布 - 图62#card=math&code=z%3D%5Cbegin%7Bpmatrix%7Dx%5C%5Cy%5Cend%7Bpmatrix%7D%5Csim%20N%5Cleft%28%5Cbegin%7Bpmatrix%7D%5Cmu%5C%5CA%5Cmu%2Bb%5Cend%7Bpmatrix%7D%2C%5Cbegin%7Bpmatrix%7D%5CLambda%5E%7B-1%7D%20%26%20%5CLambda%5E%7B-1%7DA%5ET%20%5C%5C%20A%5CLambda%5E%7B-1%7D%20%26%20A%5CLambda%5E%7B-1%7DA%5ET%2BL%5E%7B-1%7D%5Cend%7Bpmatrix%7D%5Cright%29)

知道了 高斯分布 - 图63 的分布，即 高斯分布 - 图64#card=math&code=%28x%2Cy%29) 的联合分布，就可以用上一节的方法求得 高斯分布 - 图65#card=math&code=p%28y%29) 和 高斯分布 - 图66#card=math&code=p%28x%7Cy%29)