统计决定论

我们来重新思考什么是统计决定论

我认为学习统计决定论的一个最合适的路径是

最优估计 -> 最优检验 -> 最优滤波

我们先从最优估计开始考虑。我们的估计量是

• [ ] 什么是检测理论

• [ ] 检测理论的三种理论是什么

• [ ] 什么是最大后验估计

首先考虑后验概率

我们的目标是计算 ，因为它可以最小化

一般来说我们会引入一个Loss Function，
为了度量Loss Function，我们会计算expected loss function

我们会引入一个 Risk , 最常用的Risk是后验期望 , 下标 的意思是期望 = 沿着

最优估计就是 Risk 最小的。后验risk最小化=后验期望。

• Bayes Risk 和 Posterior Risk 有什么区别？

不同的贝叶斯估计，在书中就是Loss不同，绝对值Loss的最优估计是median，hit-or-miss Loss的最优估计是mode of

维纳辛钦定理告诉我们，信号过了传递函数以后，互相关和原信号之间的关系。

维纳辛钦定理告诉我们，信号过了传递函数以后，

我们考虑

是否存在一个estimator，它在MSE意义下是最优估计？

这种estimator是不可能存在的。最大的问题就是真值是未知的。
因此，当我们谈到最优估计器的时候，一定是约束了某种形式的最优估计器存在，而不是任意形式的最优估计器存在。比如说最优线性无偏估计器，最优无偏估计器等等。

如果我们只考虑无偏估计器，这个问题可以约化为寻找最小方差估计器UMV[U]E

UMVUE也是未必存在的。但是CRLB对UMVUE的能力极限也给出了一个下限。

CRLB说估计器方差永远大于Fisher信息量的倒数

无偏估计器的Efficiency 可以定义为 方差与CRLB的比值

为了进一步简化计算，我们不但约定无偏，而且约定估计器是线性的，那么最优线性无偏估计器存在吗？如何计算呢？

我们来考虑从 估计 的问题

线性性指的是 是样本 的线性组合。

我们要求方差的和是最小的

Gaussian-Markov 定理告诉我们，噪声是高斯白噪声时，最优估计是

Gaussian-Markov 更明确地说，是说零均值同方差的高斯白噪声的UMVUE是最小二乘。如果非高斯白噪声，那么退化为BLUE。

首先考虑信号的能量
相当于1欧电阻的电压求能量。

输出能量取平均就是功率，对功率取极限就是平均功率

如果平均功率非零，那么说明总能量肯定不为有限值啊。所以能量信号不可能是功率信号。功率信号也不可能是能量信号。功率信号的典型是周期函数。能量信号的典型是脉冲函数。

由Parseval 定理，对电压积分相当于对电压的频域积分

我们把 称为能量谱密度。能量->能量密度->能量谱密度
[能量]密度积分可以得到能量, [能量谱]密度积分以后也是得到能量(而不是得到能量谱). 区别只是积分的域不一样,一个是时域,一个是频域.
现在我们再来看功率,也是一样的
因为功率密度是无穷小无法计算, 因此我们只考虑功率谱密度. 对[功率谱]密度积分可以得到功率.

由维纳辛钦定理, 功率谱密度和自相关函数是一对傅里叶变换.

• [ ] 什么是估计理论

• [ ] 三种估计理论

• [ ] 什么是Weiner 滤波

• 什么是Kalman 滤波