1. 失真测度
1.0 香农第三编码定律
- 即为限失真信源编码定理
- 对于离散无记忆信源，通过限失真信源编码，允许一定的失真，就可以进一步降低熵速率R，可以小于信源熵H(S)，但是必须大于一个限度R(D)
注意：降低熵速率就是一种数据压缩，用更少的符号传递同样信息量（允许一定的失真，类似模拟信号的采样）
信道不可能完全无失真传输
- 实际不要求获得完全无失真的消息，近似即可，允许一定失真
- 在实际的信息系统中，人们一般并不要求完全无失真地恢复消息，而是允许一定的失真或误差。
- 即在一定的保真度条件下的传输信息
- 例如语音信号为20Hz-8kHz的范围，但其主要能量集中在300Hz3400Hz范围内，普通的电话通信只是传输有限带宽内的话音信息，实际上这就是一种限失真信息传输
- 即使是模拟信号，经过采样后也会丢失一些不重要的信息
- 这一过程也是数据压缩过程，可以理解为R可以小于H(S)。
- 允许压缩信源输出的信息率
- 我们能不能允许一定的失真，就好像是信道上丢失了一些信息
- 但是损失在可以接受的范围内，这样就相当于降低了熵速率。
研究信息率与允许失真之间的关系
这里将压缩过程视为一个虚拟信道，
即为压缩转化矩阵
是
的下凸函数，当X与Y相互统计独立，
为0，但是这样没有意义- 引入失真函数，求失真度一定情况下，实际传输信息率最小值
误差或失真越大，获得的信息量越小，实际传输信息所需的信息率越小，信息率即与失真有关
1.1 失真函数
1.1.1 单符号失真函数
：压缩前符号
：压缩后符号
：失真矩阵
失真函数，即 xi 和 yj 之间的距离常见失真函数
- 汉明失真：
- 平方误差失真：
- 绝对值误差失真度
失真函数可以根据人们的实际需要和失真引起的损失、风险大小等人为自己设定
1.1.2 符号序列失真函数
符号序列的失真矩阵，由 xi 的排列组合到 yj 映射的失真函数组成
xi 的排列组合到 yj 映射的失真函数为，组成组合的各个单符号的失真函数之和
1.2 平均失真
-
1.2.1 单符号平均失真
由于X和Y都是随机变量，因此d(xi, yj)也是一个随机变量，因此信源的平均失真度就是失真度的数学期望。
平均失真度描述了一个信源变换的整体失真特性，即一个信源在一个试验信道上传输的失真大小。
1.2.2 符号序列平均失真
设符号序列长度为N
- 信源和信道(压缩方法/编码器)均为无记忆
- 当信源和信道都是离散无记忆平稳
- 即此时N长序列的平均失真 = 单符号失真的N倍
- 例题
2. 信息率失真函数
2.1 D允许信道
- 即试验信道
- 改变角度看问题，假定信源编码产生的失真等价地看成是由信道干扰造成的，就是用信道转移概率描述信源编码造成的失真
- 信源
固定，单符号失真度
给定 - 选择信道(压缩方法/编码器)
- 使计算出来的
- 满足
，即 保真度准则 ，计算失真度小于给定失真度 - 符号序列满足
- 则该信道(压缩方法/编码器)为D失真许可的试验信道
- 失真度是在数据压缩中产生的，经过实测或人为估计的参数
- 平均失真度是原始信源和信源数据压缩系统的统计参数
- 允许失真度是信源压缩编码过程对失真大小限制的人为设计参数
- 失真度准则（保真度准则）就是平均失真度与允许失真度的关系
为所有满足D失真允许的信道集合
为所有满足D失真允许的N次扩展信道集合
2.2 信息率失真函数
- 即满足D失真允许的条件下，最小的平均互信息量
- 当信源为离散无记忆平稳信源，信道为离散无记忆平稳信道
2.3 信息率失真函数与信道容量对比
- 信道容量
- 信道容量是在信道固定的前提下，选择一种信源概率分布使信息传输率最大
- 反映了信道传输信息的能力，是信道可靠传输的最大信息传输率
信道容量与信源无关，是信道特性参量，不同的信道的信道容量不同
信息率失真函数
- 信息率失真函数是在信源固定的前提下，满足保真度准则的条件下信息传输速率的最小值
- 反映了满足失真度的条件下信源可以压缩的程度，即满足失真要求而再现信源消息所必须的最少平均信息量
- 是信源特性的参量，与选择怎样的试验信道无关，不同信源其信息率失真函数不同
在讨论信源率失真函数时，引入的信道转移概率并没有实际信道的意义。只是为了求交互信息量的最小值而引入的一个约束条件（失真度约束），是一个假想的试验信道。实际上它只是找到一种编码方法使平均交互信息量达到一定失真条件下的最小值
研究信道容量C是为了解决在 已知信道中尽可能多地传送信息的问题
- 是为了充分利用已给定信道使 传输量最大 而 错误概率小
- 以提高通信的可靠性
这是信道编码的问题
研究 信息率失真函数 是为了解决在已知信源和允许失真度条件下
- 使信源输出的信息率尽可能小
- 也就是在允许一定失真度 D的条件下
- 使信源必须传送给信宿信息量最少尽可能用最少的码符号来传送信源息
- 使以尽快地传送出去
- 以提高通信的有效性这是信源编码问题
2.4 R(D)的定义域
- 对于信息率失真函数R(D)，其平均失真度D存在取值范围，需要与实际信道相结合
- 最小值
- 实际上就是对于给定的信源X，在某一种失真度[D]下， 求得平均失真度（关于转移概率）的最小值，使得信源在试验信道上传输后失真最小，率失真函数最大
- 由于失真度是一个非负实函数，因此平均失真度也是一个非负实函数，它的下限一定为零，所以允许失真度D的下限的也一定是零，这就是不允许任何失真的情况
- 允许失真度最小值实际上就是对于给定的信源和失真度准则条件下，考虑各种试验信道，使平均失真度能够达到的最小值
- 需要注意当选取失真矩阵某一行元素的概率值相等时，对应的信道矩阵将不唯一，只有概率和的关系
- 具体计算：（选择试验信道）
- 构造概率转移矩阵时，每一行选取失真矩阵中最小元素的对应位置为1，其余为0
- 存在某一行失真度相同时，该行对应的概率转移矩阵等概分布
- 例题
- 最大值
- 允许失真度越大，信源压缩程度就越大，传输效率就越高。
- 当然，允许失真度大到一定值时，率失真函数等于零也就意味着无法实现信息传输了
- 允许失真度的最大值实际上就是对于给定的信源和失真度准则条件下
- 考虑各种试验信道，使率失真函数等于零的所有平均失真度中的最小值
- 解释：D为平均失真度，要求平均失真度最大，即信息率最小，即信息率失真函数R(D)最小，
，即
最小，此时X和Y相互独立，
- 因为率失真函数是在允许失真度小于平均失真度条件下得到的，因此，允许失真度的最大值就是当使率失真函数等于零时平均失真度的最小值
- 具体计算：（选择试验信道）
- 构造概率转移矩阵时，先计算每一列的失真度（即转化为y1或y2..或.yn）的总失真度
- 选取最小的一列，对应概率转移矩阵的列为全1，剩余元素为全0
- 例题
- R(D)是关于D的下凸函数。即，如果在失真度D的定义域内选择两个失真度D1和D2（Dmin≤D1, D2≤Dmax），则有下式成立。其中
且
上式说明函数的均值大于等于均值的函数
-
2.5 R(D)的值域
平均交互信息量的非负性，可知率失真函数也是一个非负函数
- 当允许失真度增大到一定值时，通过试验信道后接收机已经无法得到信源的信息，会使平均交互信息量等于零
- 率失真函数的最小值等于零（完全失真）
- 如果不允许失真，即允许失真度D=0，
- 平均交互信息量I(X;Y)就等于信源熵H(X)，
- 也就是说，率失真函数的最大值为
3. 信息率失真函数的计算
- 率失真函数计算的实质：在已知信源先验概率和失真度矩阵的条件下
- 求目标函数
- 在约束条件：
- 关于试验信道转移概率的极小值
- 因此，率失真函数计算的基本方法仍然是拉格朗日乘数法求极值的问题
- 例题
- 当满足特定条件的信源分布和失真矩阵存在简便计算
- 例如先验等概信源
- 例题
- 该方法计算的适应条件
- 信源先验等概分布
- 失真度矩阵对称矩阵
- 如果先验等概，那就说明信源符号的自信息量是相等的，符号的重要性是一样的。
- 这时，如果失真度矩阵是对称的，那么信道转移概率矩阵应该是对称的。
-
4. 渐近等分性
4.1 大数定理
大数定理，对于n个独立同分布的随机变量，当n比较大的时候，算数平均值就近似等于数学期望
- 基本定义：如果X1,X2,…Xn为独立同分布的随机变量，则
- 或者说，如果X1,X2,…Xn为独立同分布的随机变量，如果数学期望为E{X}，则
4.2 渐近等分性（AEP）
- 相互独立的随机变量的函数也是相互独立的。
- 如果随机向量（序列）的分量X1,X2,…Xn为独立同分布的随机变量，意味着：
- 那么，其不确定度函数也是相互独立的
- 根据大数定理
- 即
- 进而有
- 举例
4.3 经典序列集合
- 如果一个n维随机向量X1,X2,…Xn的各分量是p(x)独立同分布的，
- 看成是一个n维扩展信源，也就是一个n维随机向量信源。可以描述为
- 或为
- AEP定理指出：
- 或为
- 经典序列集合：
- 一个n长序列，
，对于任意小的ε>0，如果满足
- 则称这个n长序列
为ε经典序列，所有这样的序列构成一个ε经典序列集合， - 简称ε经典集合，记为
- 非经典序列集合：
- 一个n长序列，
，对于任意小的ε>0，如果满足
为ε非经典序列，所有这样的序列构成一个ε非经典序列集合，
- 非经典序列产生概率趋于很小：
- 某一个经典序列概率分布满足：
或
- 经典序列集合中经典序列的个数满足
- 举例
- 经典序列集合可能是一个比较小集合（大小与先验分布和ε有关），但它包含了序列产生概率的绝大部分，也就是这个集合中序列出现的概率是比较大的，理论上说是1-ε
- 序列长度越长，渐进等分性越好，典型集合中的序列越多，典型集合中序列的概率越相近；（例题中做了n=100的情况）
- X符号概率越均匀，渐进速度越快，经典集合中序列越多，经典序列的概率越相近。X符号概率分布越不均匀，这种渐进等分性的渐进速度就越慢，典型集合中的序列也就越少，但仍然可以随着n的增加实现渐进等分性。（例如p=0.9的情况）
渐进等分性定理和经典序列集合的意义：一个是在信息论研究中很多编码定理可以用这个模型来解释；第二个就是大数定理在信息熵的应用，大数据中往往有一个小集合，是我们希望寻找的。
4.5 解释香农第一编码定理
在介绍无失真信源编码的时候，如果信源先验等概
- 那么，平均码长就接近于信源熵，编码效率就接近于1
- 二元等长编码：
- 编码效率
- 根据渐近等分性和经典序列集合定理，对于先验不等概的离散信源X，经过n次扩展，得到独立同分布的随机序列信源
，并有
- 并趋近于：
- 即
- 将这个n长序列进行等长编码，则平均码长为：
- 也就是
- 用渐近等分性对香农第一编码定理（无失真编码定理）的解释
- 如果信源熵为H(X)，对其进行n次扩展后进行二元编码，则对于任意给定的ε >0，只要平均码长满足
- 只要n足够大，就可以实现无失真压缩编码
- 但是，如果
- 则无法实现无失真信源编码
- 例题
5. 限失真信源编码定理和逆定理
率失真函数R(D)的物理意义是在一定的允许失真D的条 件下，每个信源符号可以被压缩的最小信息量值，可以 小于H(S)，也就是最低信息传输速率小于信源熵
设R(D)为一个离散平稳无记忆信源的率失真函数，对于任意D≥0 ，ε>0，δ>0，以及足够长的码字长度n，总可以找到一种二元信源编码方 法，使编码后的码字符号的平均失真度小于等于D+δ，而码字的个数为
，并且R ≥ R(D)。若信息传输率R<R(D) ，则无论采用何种编码方法，都必然有平均失真大 于D，完整香农第三编码定理
设R(D)是离散无记忆信源的信息率失真函数。对于任意的允许失真度D≥0和任意小的正数，当信源序列长度N足够长时，一定存在一种编码其编码其码字个数
- 解释：
- 否则失真度超出要求
- 从香农第三编码定理的描述中可以看到，在不考虑信道干扰的情况下，为了提高传输效率， 对信源进行压缩编码，必然引起信息失真，定理给出了在满足平均失真度小于允许失真度的 情况下，信息传输率可以压缩的下界R(D)
- 率失真函数R(D)的实质就是：在允许失真度D的条件下，每个信源符 号的最小熵速率可以小于信源熵H(X)，单位和互信息是一样的，也是 bits/符号
若有收获，就点个赞吧
0 人点赞
