Mathematics

均值

定义

一般指平均数，平均数，统计学术语，是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。它是反映数据集中趋势的一项指标。

公式

均值，期望，方差，标准差，协方差 - 图1

期望

定义

一般指数学期望，概率论概念，是一个数学特征，是试验中每次可能结果的概率乘以其结果的总和。

公式

均值，期望，方差，标准差，协方差 - 图2

均值与期望的区别

  • 平均数为统计学概念，期望为概率论概念
  • 平均数是基于样本实际实验后所得到的结果，期望是实验前基于概率分布“预测”的结果
  • 期望是平均数随样本趋于无穷的极限

两者的联系基于大数定理：大数定理规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值。

方差

定义

  • 概率论中方差用来度量随机变量和其数学期望之间的偏离程度。
  • 统计学中方差用来计算每一个变量与总体均数之间的差异。

    公式

    概率论定义

    均值，期望，方差，标准差，协方差 - 图3

均值，期望，方差，标准差，协方差 - 图4

统计学定义

均值，期望，方差，标准差，协方差 - 图5
均值，期望，方差，标准差，协方差 - 图6

为何样本方差计算公式分母为n-1

为什么样本方差（sample variance）的分母是 n-1？ - 张英锋的回答 - 知乎

标准差

定义

标准差是方差的算数平方根，也被称为标准偏差或者实验标准差，最常使用作为统计分布程度上的测量依据。反应一组数据中个体间的离散程度。

公式

均值，期望，方差，标准差，协方差 - 图7

协方差

定义

在概率论和统计学中，协方差用于衡量两个变量的总体误差

公式

均值，期望，方差，标准差，协方差 - 图8

从直观上来看，协方差表示的是两个变量总体误差的期望。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]。
但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。
协方差Cov(X,Y)的度量单位是X的协方差乘以Y的协方差。

References: