信息论与编码理论—第三章节习题解答

《信息论与编码理论—第三章节习题解答》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、习题课3.1试证明长度不超过N的D元不等长码至多有D(DN－1)/(D－1)个码字。[3.1的解答]长度等于k的D元码字至多有Dk个，其中k=1~N。因此长度不超过N的D元码字至多有2021/7/1713.2以上是一个离散无记忆信源。若对其输出的长为100的事件序列中含有两个和更少个al的序列提供不同的码字。(a)在等长编码下，求二元码的最短码长N。(b)求错误概率(误组率)。[3.2的解答](a)长为L=100的事件序列中含有两个和更少个al的序列，其个数为2021/7/172习题课(b)含有两个和更少个al的序列拥有不同的码字，它们的译码不会出现错误。因此错误概率(误组率)不会超过“含

2、有三个以上al的序列”出现的概率。而“含有三个以上al的序列”出现的概率等于2021/7/173习题课[3.2的注解]事实上，在对“含有两个或更少个al的长为100的序列”提供不同的码字之后,还有210-596=428个富余的码字。这些富余的码字如果提供给其中428个“含有恰好三个al的长为100的序列”，作为它们各自的不同码字。则错误概率不会超过2021/7/174习题课3.4对于有4个字母的离散无记忆源有两个码A和B，参看下表。试问：(a)各码是否满足异字头条件?是否为唯一可译码?(b)当收到1时得到多少关于字母a1的信息?(c)当收到1时得到多少关于信源的平均信息?字母概率码A码Ba

3、1a2a3a40.40.30.20.1101001000111010010002021/7/175习题课[3.4的解答](a)码A是异字头码。码B不是异字头码。码A和码B都是唯一可译码。码A的译码规则是：1就是一个码字的末尾。码B的译码规则是：1就是一个码字的开头。2021/7/176习题课(b)“当收到1时得到多少关于字母a1的信息”，这是求事件a1与事件“收到1”的（非平均）互信息量。以码A为例。P(a1)=0.4。P(收到1)=P(a1)×P(收到1

4、a1)+P(a2)×P(收到1

5、a2)+P(a3)×P(收到1

6、a3)+P(a4)×P(收到1

7、a4)=0.4×1+0.3×(1/2)

8、+0.2×(1/3)+0.1×(1/4)=0.642。P(a1，且收到1)=P(a1)×P(收到1

9、a1)=0.4×1=0.4。所以I(a1；收到1)=log{0.4/(0.4×0.642)}=0.64155。2021/7/177(c)“当收到1时得到多少关于信源的平均信息”，这是求信源随机变量U与事件“收到1”的（半平均）互信息量。以码A为例。I(收到1；U)=2021/7/1783.6令离散无记忆信源如上。(a)求对U（即U1）的最佳二元码、平均码长和编码效率。(b)求对U2（即U1U2）的最佳二元码、平均码长和编码效率。(c)求对U3（即U1U2U3）的最佳二元码、平均码长和编码效率

10、。2021/7/179（U1U2U3）~a1a1a1a1a1a2a1a2a1a2a1a1a1a1a3a1a3a1a3a1a1a1a2a2a2a1a20.1250.0750.0750.0750.0500.0500.0500.0450.045a2a2a1a1a2a3a1a3a2a2a1a3a3a1a2a2a3a1a3a2a1a2a2a2a1a3a30.0450.0300.0300.0300.0300.0300.0300.0270.020a3a1a3a3a3a1a2a2a3a2a3a2a3a2a2a2a3a3a3a2a3a3a3a2a3a3a30.0200.0200.0180.0180.0180

11、.0120.0120.0120.0082021/7/1710（U1U2）的第一种最佳二元码2021/7/1711（U1U2）的第二种最佳二元码2021/7/1712（U1U2）的最佳二元码平均码长和编码效率：2021/7/17132021/7/17142021/7/17152021/7/17162021/7/17172021/7/17182021/7/17192021/7/17202021/7/17212021/7/17222021/7/17232021/7/17242021/7/17252021/7/17262021/7/17272021/7/17282021/7/17292021/7/

12、17302021/7/17312021/7/17322021/7/17332021/7/1734（U1U2U3）的码字a1a1a1a1a1a2a1a2a1a2a1a1a1a1a3a1a3a1a3a1a1a1a2a2a2a1a201000000001011011101000100110101011a2a2a1a1a2a3a1a3a2a2a1a3a3a1a2a2a3a1a3a2a1a2a2a2a1a3a30010001110