掌握目标

1、掌握期望和方差的意义，以及常用离散或连续分布期望方差的计算
2、掌握期望和方差的性质
3、掌握协方差，相关系数，协方差矩阵

期望与方差

期望

连续型（积分）

image.png

离散型（求和）

image.png

典型概率密度函数的期望

均匀分布

image.png
即期望为：3.3 期望与方差 - 图4

指数分布

image.png
期望计算公式为：
image.png
即期望为：3.3 期望与方差 - 图7

高斯分布

image.png
期望为3.3 期望与方差 - 图9

典型离散型随机分布的期望

0-1分布

image.png
根据定义求期望：
image.png

伯努利分布（二项分布）

image.png
根据定义求期望：
image.png
其中
image.png
所以
image.png

泊松分布

image.png
根据定义求期望公式为：
image.png
由于k=0时的项为0，所以可以看作从1开始累加：
image.png
image.png

期望的性质

image.png

方差

定义

image.png

对3.3 期望与方差 - 图22求数学期望：
image.png
方差简单来说就是每一个样本到期望的距离的数学期望。

离散型

image.png

连续型

image.png

方差的计算

通过上面的方差计算公式，我们发现如果要计算方差还要计算期望再算每个样本的距离很麻烦。
因此下面我们来简化一下方差的计算方法：

image.png
也就意味着要计算方差只要算出上面两项即可。
其中对离散型：3.3 期望与方差 - 图27，对连续型：3.3 期望与方差 - 图28。

常见分布的方差

泊松分布

image.png

均匀分布

image.png

指数分布

  1. ![image.png](https://cdn.nlark.com/yuque/0/2020/png/688309/1583031712604-5f22ba1d-ffa0-4f11-a4ab-4daf45d5105f.png#align=left&display=inline&height=349&name=image.png&originHeight=744&originWidth=1023&size=210259&status=done&style=none&width=480)

高斯分布

方差为3.3 期望与方差 - 图31。

方差常用性质

image.png

image.png
image.png
根据期望的性质我们知道上式为0等价于XY相互独立。

协方差

引入

在证明方差性质3的时候，我们已经看到，如果两个随机变量X和Y是相互独立的，则
3.3 期望与方差 - 图35
这意味着3.3 期望与方差 - 图36时，X与Y不相互独立，而是存在着一定的关系的。

协方差和相关系数

image.png
由柯西不等式：
3.3 期望与方差 - 图38
所以相关系数是小于等于1的，当相关系数的绝对值等于1时，XY相关性最强；当相关系数为0时，XY相互独立

协方差常用公式

image.png

协方差常用性质

image.png

相关系数定理

image.png
上式简单说就是X与Y线性相关。

协方差矩阵

image.png

推广到n维：
image.png

n维正态随机变量的概率密度

image.png