信息论基础与编码—信道及信道容量ch04article

《信息论基础与编码—信道及信道容量ch04article》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、信息论基础与编码一信道及信道容量Contents1综述22信道分类23信道模型34信道疑义度45平均互信息量及其性质56信道容量56.1离散无记忆信道容量定理67信道容量的计算77.1离散无噪、无损信道的信道容量计算77.2离散对称信道的信道容量计算87.3信道矩阵可逆的信道容量求法87.4拉格朗日乘数法97.5信道容量的迭代计算法98数据处理定理119信道的组合1110连续信道及其容量1210.1连续随机变量的互信息量1210.2连续信道的信道容量1310.3高斯加性信道的信道容量1310.4多维高斯加性信道的信道容量1410.5波

2、形信道及其信道容量15信息或存1综述?在通信系统中，信道是很重要的一部分。信道的任务是以信号的方式传输储信息。?研究信道的两个基本问题是1•一个给定的信道中能够传输或存储的最大信息量，即信道容量的问题；2.如何在有噪声的信道中可靠地传输或存储信息的问题。等概分布?在本章的学习中，如果没有明确说明，则一律假设信源是理想的，即独立的离散多符号信源。?一些有噪信道的例子：-一根模拟电话线用于两个Modem之间的数字通信-木星轨道空间站与地球之间的无线电通信链路-细胞的繁殖，父细胞向子细胞传递DNA信息-一个磁盘驱动器2信道分类?信道是指信息

3、传输的通道。包括：间等;无有-空间传输针对我们常见的情形，例如各种物理通道：电缆、光缆、空-时间传输是指将信息保存，以后再读取。?按输入/输出之间的记忆性来划分：-信道的输出只与信道当前时刻的输入有关而与信道其他时刻的输入关，则为无记忆信道；-信道的输出不仅与信道当前时刻的输入有关而且与以前时刻的输入关，则为有记忆信道。?根据信道的参数是否随时间改变可分为-信道的统计特性不随时间变化的平稳信道；-信道的统计特性随时间变化的非平稳信道。?根据输入/输出的个数可分为：-一个输入一个输出为单用户信道；-多个输入多个输出为多用户信道，例如广播

4、信道、卫星通信信道、网络通信信道等。Example2.二进制删除信道（BEC）：(1-P)?00??•■t】7•pl"7•?_pp_0?7•■Pq??-oq1-q?1(1-q)Example3.Z信道:po■11—(1-?p)Example4•噪声打字机信道:7■A77777T7???7?9••■•?A3C???MBB?7■■驾c"■?■??••p=■D??D~~?????・・•••????E???••・・??■■■■■??■■■???MB•■•••••99?•••••・9■Y……?.?■z??Y7i■?7•■?■4信道疑义度Defi

5、nition5.H(X

6、Y)称为信道疑义度，意为当收到信道输出的所有符号之后对信道输入的符号尚存的平均不确定性。?信道疑义度也表示信源符号通过有噪信道传输后所引起的信息的损失，故也称为损失爛;输出变量Y的平均不确定性等于通过信道传递过来的平均互信息量l(X;Y)加上H(Y

7、X),这完全是由于信道中的噪声引起的，因0.70.60.5040.30.20.1000.250.50.75Pl04030.20.100025050.75Pl图1:BSC信道和Z信道的平均互信息量?由定理7可知，l(X;Y)是输入随机变量X的概率分布p(x)的上凸函数

8、。因此对于一个固定的信道，总存在一个信源，使得传输每个符号平均获得的信息量最大，也就是每个固定的信道都有一个最大的信息传输率。Definition12.平均互信息量对于信源概率分布的极大值定义为信道容量：△C=maxd(X;Y)⑷p(x)其单位为比特/符号。而相应的输入概率分布称为最佳输入分布。信道的统?信道容量是在假定信源理想的情况下信道传输信息能力的极值。?信道容量与输入信源的概率分布无关，它只是信道转移概率的函数，只与计特性有关。?对于多符号信道，有1c=limmax{I(XX...Xn;Ys丫2・・・Yn)}(5)12N—oo

9、Np(x)铲翱關矣灑平轉児讐俑!(X般鬲H=(^+h常))「H(p)0容易求得其因此，BSC的信道容量为C=1-H(p)(比特/符号)26.1离散无记忆值道容量定理Lemma14(K-T条件)•令f(x)是定义在R上的上凸函数，其中x=(xi,X2,...,xr?f(X)为概率矢量。假定均存在，「&•在R上连续，则f(x)在R上取极大值的充?x{?f(x)?Xi?f(x)?Xi?■要条件是：'Zx'>0⑹?iZx=0因BSC的信道容量Theorem45(离散无记忆信道容量理)・输入概率矢量Qa,…,p「)达到转移概率矩阵为(Pji)r

10、s的离散无记忆信道(DMC)容量C的充要条件为：{I(X=Xi；Y)二C?Pi>0⑺l{X=Xi；Y)?C?pi=0其中I(X=Xi；Y)为输入为X二Xi时，信道输出一个符号的平均互信息，即SVPtI(X=Xi；Y)=P