资源描述：
《信息论与编码（汤学明）信息论与编码——a答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、计算机学院20门一2012学年第一学期《信息论与编码》考试试卷闭卷考试吋间：2011年11月29日得分评卷人得分评卷人(1)二、名词解释(共20分，每小题5分)题号二一.四五六七总分核对人题分10201815151012100得分专业信息安全班级学生姓名学号-、填空题(共10分，每空1分)(1)根据信息的性质，可以将信息分成语法信息、语义信息和语用信息。(2)连续信源的相对爛不具有非负性,且最大连续炳与限制条件有关，当连续信源的峰值功率受限I］寸，则输出信号幅值取均匀分布时,取得最大连续嫡。(3)平均互信息的凸函数性表现为：I古I定信源概率分布，/(XV)是信道转移概率分布的下凸函数:固定信
2、道转移概率分布，/(x；y)是信源概率分布的上门函数。(4)某单符号离散信源取值于4种不同符号构成的符号集，对其进行5次扩展，则扩展信源的符号序列数共有1024种,扩展信源的最大燔为10bit。(5)常见的多用户信道主要有多址接入信道、广播信道相关信源的多用户信道三种类型。平均码长：对单个信源符号进行编码，码中所有可能的码字长度的统计平均值,它是平均每个单信源符号进行编码所需采用的码元个数。信道散布度：信源发出X后对信宿收到丫仍然存在的平均不确定度H(Y
3、X),是X关于Y的后验不确定度，是信息传输中额外增添的噪声，也称为噪声癇。(3)冗余度：冗余度是描述信源符号间依赖程度的一个指标，它等于1
4、减去信源嫡的相对率，也等于信息变差与最大离散爛的比值,即,1-〃-(仏-弘)///。。(4)极限嫡：多符号信源平均发出一个由N个符号组成的符号序列，在统计意义上平均每发出一个符号所提供的信息量，表示为：Hn(X)=^H(XX2・・・XQ。当N趋于无穷大时，平均符号嫡的极限值就是极限嫡。设随机变量X和随机变量Y,它们的联合概率（3）平均互信息z（x；y）；（3分）012300.010.020.030.0410.100.120」60.2220.090.080.070.06得分评卷人三、计算题I（共18分）分布为如右表所示，试计算：（1）信息爛H（x）,H（r）,H（XY）；（6分）（2）条件爛
5、H（Y
6、X）,H（XV）；（5分）（4）令Z=XY,如果对Z进行定长无失真信源编码，若要求编码效率不小于90%,译码差错率低于10」，需要多少个符号一起编码？（4分）解：由已知条件可求得X,Y的概率分布分别如下:012X0.100.600.300123Y0.200.220.260.32(1)H(X)=-(0.1log0.1+0.6log0.6+0.3log0.3)=1.295bit/符号W(y)=-(0.2log0.2+0.22log0.22+0.26log0.26+0.32log0.32)=1.976bit/符号H(XY)=-E-=0Z；=oX^ypiogpfry)=3.236bit/符号
7、(2)H(Y
8、X)=H(XY)一H(X)=3.236-1.295=1.941bit/符号H(X
9、Y)=H(XY)一W(y)=3.236一1.976=1.260bit/符号(3)Z(X；y)=W(y)一H(YIX)=1.976-1.941=0.035bit/符号=H(X)-H(X
10、Y)=1.295-1.260=0.035bit/符号=H(X)+H(Y)一H(XY)=1.295+1.976-3.236=0.035bit/符号(4)E[Z(z)]=H(Z)=H(XY)=3.236bit/符号E[I2(z)]=^.=0p(xiyJ)[-logp(xiyj)]2=11.271bf/符号则:a2[I(z
11、)]=E[I2(z)]-E2[I(z)]=11.271-3.2362=0.799bit2/符号由眯得："雳陀）冷3.236-0.360=6.165xl03L、夕M(z)]二0.799-£23一0.362x10"因此，需要6.165X103个符号一起编码才能满足要求得分评卷人设某二阶齐次马尔可夫信源在任意时刻可能发出4种不同的符号，其状态转移图如右图所示，试求：(1)一步状态转移概率矩阵；(2)极限嫡(3)该马尔可夫信源的冗余度解：(1)由状态转移图可得该马尔可夫信源的一步状态转移矩阵为：a:00.250.250.50.10.20.30.40.20.30.40」0.30.40」0.2(2)由t
12、t=ttP及L-=o兀=1可得：兀、=0.皿+0.2龙3+0.3龙47r2=0.25%+0.2龙2+0・3龙3+0.4爲<龙3=0.25街+0.3龙2+0・4隔+0.1^4列=0・5坷+0.4龙2+0・1龙3+0-2^41=龙1+%+龙3+兀4联立解得:街=368/2218=0.166龙2=645/2218=0.291龙3=580/2218=0.261=625/2218=0.28244亿=h2+1=-工工)
