“信息论与编码”试题_参考解答_2008new

《“信息论与编码”试题_参考解答_2008new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、“信息论与编码”试题2007级硕士研究生2008年6月14日一、基本概念题（闭卷部分，每题4分，共40分。1小时内完成并交卷）1.试证明n维随机变量的共熵，不大于它们各自的熵之和。证明：即证明因为0£I(X;Y)=H(X)–H(X/Y)，所以H(X/Y)£H(X)。由共熵的定义和熵的链接准则，有H(X1,X2)=H(X1)+H(X2/X1)H(X1,X2,X3)=H(X1)+H(X2,X3/X1)=H(X1)+H(X2/X1)+H(X3/X2,X1)£H(X1)+H(X2)+H(X3)…证毕。2.请给出信源编码器的主要任务以及对信源编码的基本要求。解：信源编码器的主要任务是完成输入消息集合与输

2、出代码集合之间的映射。对信源编码有如下基本要求：（1）选择合适的信道基本符号，以使映射后的代码适应信道。例如，ASCII码选用了16进制数。（2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。（3）编码应使消息集合与代码组集合中的元素一一对应。3.请给出平均码长界定定理及其物理意义。解：平均码长界定定理：若一个离散无记忆信源X，具有熵H(X)，对其编码用D种基本符号，则总可以找到一种无失真信源编码，构成单义可译码，使其平均码长满足平均码长界定定理的物理意义：编码所追求的，是在单义可译前提下寻求尽可能小的平均码长。平均码长界定定理指出，平均码长的下界值

3、。对于给定信源空间{X，P(X)}的离散信源，其熵H(X)是确定的数值，如果信道基本符号也是确定的，即D也是给定的，则也就定了。这意味着，如果不改变信源的统计特性，减小的潜力，到了其下界值也就到了极限了。因此，如果要进一步提高编码效率，必须对信源本身进行研究，例如改变信源本身的统计特性，对其进行扩展。4.请给出连续信源分别为均匀分布、高斯分布和指数分布时信源的相对熵。解：（1）均匀分布连续信源的相对熵为（2）高斯分布连续信源X的相对熵为中间步骤可以省略（3）指数分布连续信源X的相对熵为中间步骤可以省略5.请给出失真函数、平均失真度、保真度准则、信息率失真函数的定义。解：失真函数定义：对于有失真

4、的信息传输系统，对应于每一对（ai,bj）（n=1,2,…r；j=1,2,…,s），定义一个非负实值函数表示信源发出符号ai而经信道传输后再现成信道输出符号集合中的bj所引起的误差或失真，称之为ai和bj之间的失真函数（DistortionFunction），简写为dij。平均失真度定义：若信源和信宿的消息集合分别为X:{a1,a2,…,ar}和Y:{b1,b2,…,bs}，其概率分别为P(ai)和P(bj)(i=1,2,…,r;j=1,2,…,s)，信道的转移概率为P(bj/ai)，失真函数为d(ai,bj)，则称随机变量X和Y的联合概率P(aibj)对失真函数d(ai,bj)的统计平均值为

5、该通信系统的平均失真度。保真度准则定义：从平均的意义上来说，信道每传送一个符号所引起的平均失真，不能超过某一给定的限定值D，即要求，称这种对于失真的限制条件为保真度准则。信息率失真函数定义：用给定的失真D为自变量来描述的信息传输速率，称为信息率失真函数，用R(D)表示。6.试证明(n,k)循环码的生成多项式g(x)是xn+1的因式。证明：将生成多项式g(x)乘以，得由于次数为n，故上式中q(x)=1，而是g(x)循环左移k次所得，它是g(x)的倍式，设，故有证毕。7.请给出域的定义并说明集合{0,1,2}可否构成域及其理由。解：域的定义：非空元素集合F，若在F中定义了加和乘两种运算，且满足(1

6、)F关于加法构成Abel群，其加法恒元记为0；(2)F中非零元素全体对乘法构成Abel群，其乘法恒元记为1；(1)加法和乘法间有如下分配律：a(b+c)=ab+ac，(b+c)a=ba+ca，则称F是一个域。或者说，域是一个可换的、有单位元的、非零元素有逆元的环。集合{0,1,2}可以构成域。对该集合中的元素定义模3加和模3乘这两种运算，完全符合域必须满足的3个条件。8.请给出本原多项式的定义，并用一个实例来说明它的性质。解：本原多项式的定义：若m次既约多项式p(x)除尽的xn+1的最小正整数n满足n=2m–1，称p(x)为本原多项式。用实例来说明本原多项式有如下性质：1）本原多项式一定是既约

7、的（因为它是用既约多项式来定义的），但既约多项式不一定是本原的。例如：4次既约多项式x4+x+1能除尽x15+1，但除不尽任何1≤n<15的xn+1，所以x4+x+1是本原的；但同样是4次既约多项式x4+x3+x2+x+1，能除尽x15+1，但也能除尽x5+1，所以x4+x3+x2+x+1是既约的但不是本原的。2）对于给定的m，可能有不止一个m次本原多项式。例如，对于m=5，x5+x3+1是本原多