信息论与编码试题一

《信息论与编码试题一》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、模拟试题一一、概念简答题(共10题，每题5分)1.简述离散信源和连续信源的最大熵定理。答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的嫡最大。均值受限时，指数分布的熵最大。2.什么是平均自信息(信息嫡)？什么是平均互信息？比较一下两个概念的异同之处答：平均自信息H(X)=p(xy)log表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量平均互信息T(X;Y)=H/Xxjpiog’?(U)表示从Y获得的关于每个X的平/=17=1P、Xi)均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定

2、性减少的量。3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？答:等长信源编码定理：对于任意6*>0,<5>0,只要plog2m2H(X)+则当L足够长时必可使译码差错<<5。变长信源编码定理：只要2,一定存在一种Llog2m无失真编码。等长码和变长码的最小平均码长均为编码效率最高可达100%。log2m4.解释最小错误概率译码准则，最人似然译码准则和最小距离译码准则，说明三者的关系。答：最小错误概率译码准则T,将接收序列译为后验概率最大时所对应的码字。S大似然译码准则下，将接收序列译为信道传递概率S大时

3、所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入力等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。5.设某二元码字C={111000,001011,010110,101110},①假设码字等概率分布，计算此码的编码效率？②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？答：n"=12^1=11632)令接收序列为/?,则有3(111000,/?)=3,J(001011,^)=5,顧0110,々)=1,6/(101110,/?)=2,故接收序列应译为01011

4、0。6.—平稳二元信源，它在任意时间，不论以前发出过什么符号，都按P(0)=0.4,P(l)=0.6发出符号，求II(X2),II(%3/^)和平均符号熵lim丄//(芩nX,v)?答:H(X2)=2H(X)=1.942⑽/2符号H(X3/=H(X3)=0.97Ito/符号lim—H(X,aD=lim丄xNH(X)=H(X)=0.97lbit/符号N—>ooN—1.分别说明倌源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道荇量。8.二元无记忆信源，有P(

5、0)=0.25，P(l)=0.75求：(1)某一信源序列由100个二元符号组成，其屮有m个“1”，求其自信息量?(2)求100个符号构成的信源序列的熵。答：1)P(6Z)=[P(O)]lo°-wX[Hl)?=(-)10°-/wX(-)/w44I(a)=-log2P(6r)=200-mlog232)H(X100)=lOOII(X)=81.128/?z7/序列9.求以下三个信道的信道容铽:00101000000101001001000100100010010.10.200000.30.40000000.30.700000.40000000.20.10.3答：P1为对应确定信道，因此有C

6、=maxH(X)=log24=2/?z7/符号。P2为具有归并性能的信道，因此有C2=maxH(Y)二log23二1.5995加7/符号。P3为具有发散性能的信道，因此有C3=maxH(X)=log23=1.5995加7/符号。10.己知一(3，1，3)卷积码编码器，输入输出关系为：&(/)=“(/)

7、(2)每三个符号合成一个來编二进制Huffman码，试建立新信源的模型，给出编码结果。(3)求每符号对应的平均码长和编码效率。答:1)P(0)=P(0)P(0/0)+P(l)P(0/1)P(0)+P⑴=12Ho)=了得极限概率：3p(o)+Hi)=则符号嫡为=Hl+l=0.5533加7/符号2)新信源共8个序列，各序列的概率为P(X}X2X,)=P{X,}P{X2/Xl)P(X3/信源模型为J000001010011100101110111lo.540.0