资源描述：
《信息论基础与编码课后题答案(第三章)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论基础与编码课后题答案(第三章)3-1设有一离散无记忆信源，其概率空间为??X??x1x2?，信源发出符号通过?????P(x)??0.60.4?1?6??，求：3?4???5?6一干扰信道，接收符号为Y?{y1,y2}，信道传递矩阵为P???1??4（1）信源X中事件x1和x2分别含有的自信息量；（2）收到消息yj（j＝1，2）后，获得的关于xi（i＝1，2）的信息量；（3）信源X和信宿Y的信息熵；（4）信道疑义度H(X/Y)和噪声熵H(Y/X)；（5）接收到消息Y后获得的平均互信息量I(X;Y)。解：（1）I(x1)?0.737bit,I(x2)?1.
2、322bit（2）I(x1;y1)?0.474bit，I(x1;y2)??1.263bit，I(x2;y1)??1.263bit，I(x2;y2)?0.907bit（3）H(X)?H(0.6,0.4)?0.971bit/symbolH(Y)?H(0.6,0.4)?0.971bit/symbol（4）H(XY)?H(0.5,0.1,0.1,0.3)?1.685bit/symbolH(X/Y)?1.685?0.971?0.714bit/symbolH(Y/X)?0.714bit/symbol（5）I(X;Y)?0.971?0.714?0.257bit/symbol
3、3-2设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：?1?2??1?6P???1?6?1??616121616161612161?6??1?6?，信源信宿概率分布为：P(X)?P(Y)?{1,1,1,1，?44441?6?1??2?H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)-H(Y/X)=2-1.79=0.21（bit/符号）3-3已知信源X包含两种消息：x1,x2，且P(x1)?P
4、(x2)?1/2，信道是有扰的，信宿收到的消息集合Y包含y1,y2。给定信道矩阵为：P???0.980.02??，求平均互信息0.20.8??I(X;Y)。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1bit/符号,H(Y)=0.93bit/符号,H(XY)=1.34bit/符号,I(X;Y)=0.59bit/符号。?2?33-4设二元对称信道的传递矩阵为：??1??3（1）若P(0)=1?3??，2?3??31，P(1)=，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；44（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解：（
5、1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X；Y)=0.06（bit/符号）；（2）C＝0.082（bit/符号），最佳输入分布为：PX?{3-5求下列两个信道的信道容量，并加以比较：1212?p??（1）???p??p??p??2???（2）2????p?????p??p??p??2?00??2???其中p?p?1。解：（1）C1?log2?H(p??,p??,2?)?(1?2?)log(1?2?)?2
6、?log4??1?(p??)log(p??)?(p??)log(p??)?2?log2??(1?2?)log(1?2?)?2?log4??1?2??(p??)log(p??)?(p??)log(p??)?(1?2?)log(1?2?)（2）C2?log2?H(p??,p??,2?)?(1?2?)log(1?2?)?2?log2??1?(p??)log(p??)?(p??)log(p??)?2?log2??(1?2?)log(1?2?)?2?log2??1?(p??)log(p??)?(p??)log(p??)?(1?2?)log(1?2?)两者的信道容量比较：
7、C2?C1?2?3-6求题图3-6中信道的信道容量及最佳的输入概率分布。并求当??0和量C。X1Y01时的信道容2121??2题图3-6解：由图知信道转移矩阵为：00??1?，此信道非对称信道，也非准对称信道，不能利用其公式计算。P??01???????1????0?此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵，又r＝s，则可利用方程组求解：?P(bj?13j/ai)?j??P(bj/ai)logP(bj/ai),i?1,2,3，所以j?13?1?0???(1??)?2???3?(1??)log(1??)??log
8、?????(1??)??(1??)lo
