限失真信源编码定理和多用户信息论

《限失真信源编码定理和多用户信息论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、9－1信息率失真函数9－2限失真信源编码定理9－3相关信源编码9－4多址接入信道和广播信道第九讲限失真信源编码定理与多用户信息论9－1信息率失真函数实际通信系统当中，实现完全无失真的代价较大，设备昂贵，并且对于连续信源，要求绝对熵无限大，要求信息率无限大，这也是不可能的；另一方面，我们有时并不需要完全无失真的信息传输，而可以在一定的误差之下，保证一定的失真度的条件下，进行信息传输。（人的眼和耳有一定的感受范围）随着科学技术的发展，数字系统得到了广泛应用，也就带来传送、存储和处理大量的数据。例如在数字通信系统中，普通电话的数码

2、率为64kbit/秒，可视电话的数码率为8.448Mbit/s。数字电视的传输率约为100Mbit/s。要求在保证一定质量（保真度）地条件下近似地再现原来的信息，也就是允许有一定的错误存在，这就是信息压缩。在允许一定的失真条件下，能够把信源信息压缩到什么程度，即最少需要多少比特数才能描述信源，也就是在允许一定程度失真条件下，如何快速地传递消息？这就是信息率失真理论研究的问题。它是量化、数模转换、频带压缩和数据压缩的理论基础。信息率失真函数R(D)就是在允许一定的失真度D的条件下最小的信息传输率。限失真信源编码定理（香农第三定

3、理）就是说：只要信息率R大于R(D)，就一定存在一种编码，以使译码后的失真小于D。1、失真函数（失真度）设离散无记忆信源，信源变量通过信道传送到接收端的接受变量对于每一对（u，v），定义单符号失真度为共有r×s个，为失真矩阵我们可以定义：信源信源编码信道编码信源编码信道译码信道信宿干扰广义干扰信道vu平均失真因为都是随机量，则平均失真:（对应变量之间的）设有信源输出离散随机变量序列令译码输出为序列的失真度为：平均失真为：信道与信源都是无记忆的情况：保真度准则：对于允许的失真D因为信源特性和单个符号的失真函数为已知，编码不同相

4、当于不同。有失真信源编码问题就是从满足的所有编码方式或所有中选择一种使信息率为最小。用表示满足条件的全体，信息率失真函数R(D)为2、信息率失真函数如果我们要求平均失真小于某个定值D，即它表示在下信源必须传输的最小平均信息量。R(D)DmaxH(X)D离散源连续源R(D)的性质：信息率失真函数理论属于信源编码问题：试验信道R(D)的计算：求极值。是D的单调减函数。拉格朗日算子法9－2限失真信源编码定理离散无记忆信源的限失真编码定理(香农第三定理):若一离散无记忆平稳信源的率失真函数是R(D)，则当信息率R>R(D)时，只要信

5、源序列长度L足够长，一定存在一种编码方式C，其译码失真小于或等于D＋，为任意小的正数。反之，若R

6、端涉及到两个或两个以上的信源，或者输出端涉及到两个或两个以上的信宿（终端或用户）。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。这些通信网都是复杂的信息流通系统，信息是在众多用户和方向中流通的。怎样在这些网络通信中有效和可靠的传递信息，就是网络信息论（多用户信息论）所研究的问题。IEEETransactiononInformationTheory边信息：提供给，或者提供给的信息。相关信源独立编码定理：对于任意离散无记忆信源，所有的可达速率对满足信源1信源2信源编码器1信源编码器2译码器{U1l}{U2l}

7、R1R2{U^1l}{U^2l}也就是一种互信息。已知时已经提供了一些关于的信息，因此只要获得大于的信息量就可以完全确定。是疑义度，已知后关于的剩余信息量，所以边信息就是互信息。只不过原来用于编码器、信道的输入输出，现在用于并行处理。R2H(S2)H(S1S2)可达速率域RR1+R2=H(S1S2)R1H(S2

8、S1)H(S1

9、S2)H(S1)H(S1S2)9－4多址接入信道和广播信道多址接入信道就是多个不同信源的信息经过几个编码器后送入同一个信道传送，收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从信道来看，它是

10、多输入单输出信道。广播信道就是有一个发端和多个收端的信道。译码器信道X2XMX1Y信源1信源2信源3编码器2编码器1编码器3U1U2UMU^2U^1U^M多址接入信道卫星通信的上行线路信道信源1信源2信源3U1U2UM编码器X译码器1译码器1译码器1Y2YMY1U^2U^1U^M广播信道卫