资源描述：
《《离散信道》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码理论第4章离散信道4.1离散信道的数学模型由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y
2、x)描述。而输入和输出又有各自的统计特性，分别用和表示。4.2信道的分类根据输入输出事件的时间特性离散信道：GSM连续信道：有线电视、广播半连续信道根据输入输出个数两端信道（单路信道）：电话多元接入信道：信道的复用广播信道：广播根据统计特性恒参信道：信道的统计特性不随时间发生变化。随参信道：信道的统计特性随时间发生变化。根据记忆特性无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。有记
3、忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。几种特殊信道无噪无损信道：输入集和输出集之间存在一一对应的关系。有噪无损信道：有噪无损信道的一个输入符号可能对应多个输入符号，而一个输出符号只对应一个输入符号。无噪有损信道：无噪有损信道的一个输入符号只对应一个输入符号，而一个输出符号可能对应多个输入符号。无用信道：输入与输出相互独立，没有任何关系。4.3离散无记忆信道4.3.1离散信道的数学模型离散无记忆信道中，当前的输出yj仅与当前的输入xi有关，与过去的输入无关，即yj出现的概率仅与xi有关信道转移矩阵
4、或者信道矩阵例4-3假设串口通信的误码率为4%，即A发送“0”而B接收到“1”的概率是0.04，A发送“1”而B接收到“0”的概率也是0.04，可以得到该信道的信道转移矩阵二进制对称信道简称为BSC（BinarySymmetricChannel）二元：输入和输出符号集均为{0,1}对称：1变成0和0变成1的概率相等。p(0
5、0)=p(1
6、1)=1-p，p(0
7、1)=p(1
8、0)=pBSC的信道矩阵：4.3.2信道疑义度和噪声熵定义4-1称输入空间X对输出空间Y的条件熵为信道疑义度。含义：收到全部输出符号Y以后，对输入符
9、号X尚存在的平均不确定性。这种不确定性是由信道干扰引起的。对无噪信道：H(X
10、Y)=0。H(X
11、Y)≤H(X)：收到输出符号Y以后，总能消除一些对X的不确定性，获得一些信息。【定义4-1】称信道的输入空间X对输出空间Y的条件熵为信道疑义度。信道疑义度的含义是观察到信道的输出之后仍然保留的关于信道输入的平均不确定性。这种对X尚存在的不确定性是由于传输过程中的信道干扰引起的。4.3.3平均互信息定义4-3原始信源熵与信道疑义度之差称为平均互信息。I(X;Y)=H(X)-H(X
12、Y)平均互信息具有非负性。含义：接收到信道的输
13、出符号集Y之后，平均每个符号获得的关于信道输入符号集X的信息量，即通过信道传送过去的信息量。两个定理定理4-1对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。固定信道：信道传递概率p(y
14、x)不变定理4-2对于固定的信源分布，平均互信息I(X;Y)是信道传递概率p(y
15、x)的下凸函数。固定信源：信源概率分布p(x)不变信源信道平均互信息的例子例4-6信源： 信道：则互信息量：固定信道p固定从0到1变化固定信源固定p从0到1变化4.4信道的组合组合方式并行：积信道串行：级联信道例如：Int
16、ernet例如：GSM重点介绍级联信道（串联信道）假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y
17、x)，信道II的传递概率为p(z
18、xy)。定理4-3若随机变量X,Y,Z构成一个马尔可夫链（p(z
19、xy)=p(z
20、y)），则有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)定理4-3叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。信道Ip(y
21、x)信道IIp(z
22、xy)XYZ例4-7两个二元对称信道串联一个马尔可夫链，则串联信道总
23、的信道矩阵为则I(X;Y)=1-H(p)I(X;Z)=1-H(2p(1-p))从图中能够看出I(X;Z)≤I(X;Y)例4-8信道I和信道II的信道矩阵分别为X,Y,Z构成一个马尔可夫链，则4.5信道容量4.5.1信息传输率在信息传输过程中，信道每传递一个符号所能携带（载荷）的平均信息量称为信道的信息传输率，记作R。若平均传输一个符号需要t秒，而每一个符号传送的信息量为I(X;Y)，则信道每秒传输的信息量为通常将Rt称为信息传输速率，或者传输速率。4.5.2信道容量定义4-4信道容量定义为平均互信息的最大值：C=max
24、p(x){I(X;Y)}由定理4.2.1知，I(X;Y)是p(x)的上凸函数，称使I(X;Y)取最大值的p(x)为最佳输入分布。信道容量表示信道传送信息的最大能力。由I(X;Y)的定义式可知，I(X;Y)是由信道特性p(y
25、x)和信源特性p(x)共同决定的，但是容量C已对所有可能的p(x)取最大值，因此容量C仅与信道特性p(y
26、x
