信息论与编码复习题57681new

《信息论与编码复习题57681new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.从大量统计中知道，男性红绿色盲的发病率为，女性发病率为，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能是“是”。问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/322.地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？3.设有一连续随机变量，其概率密度函数为：，试求这随机变量的熵。又若，，试分别求出和的熵和。4.设随机变量取值于，，已知的数学期望,求使达到最大的概率分布和该分布的熵.5.设Markov信源的

2、状态空间为：，其一步转移概率如下:1)画出状态转移图？2)求该信源的平稳分布.4/9,5/93)求该信源的极限分布.6.一信源产生概率为的统计独立二进制数符。这些数符组成长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。①求出为所规定的所有源符组都提供码字所需的最小码长。18②求信源发出一数符组，而编码器无相应码字的概率。0.001685157.设有一Markov信源，其状态集为，符号集为，在某状态下发出符号的概率如图所示。（1）、证明该信源的遍历性，并求其稳定分布；（2）、求该信源的极限熵；10/9（3）、求

3、信源稳定后符号的概率分布。15/27,5/27,7/278.离散无记忆信道的转移概率矩阵为，求该信道的信道容量，及其最佳输入分布。9.设离散无记忆信道的转移概率矩阵为，求出信道容量及其达到信道容量的最佳输入概率分布。并求当时的信道容量。10.已知一个信源包含八个符号消息,它们的概率分布如下表,ABCDEFGH0.10.180.40.050.060.10.070.04①求该信源的熵。②对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。③对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。11.有一个含有8个消息的无记忆信源，其概率各自为0.

4、2，0.15，0.15，0.1，0.1，0.1，0.1，0.1。试编成两种三元非延长码，使它们的平均码长相同，但具有不同的码长的方差。并计算其平均码长和方差，说明哪一种码更实用些。12.求下图中DMC的信道容量。如果输入分布为{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。11020231/31/31/31/31/31/31/31/31/313.设二元对称信道的传递矩阵为1)若，求和；2)求该信道的信道容量及其达到信道容量时的输入概率分布。14.设有一离散信道，其信道转移概率矩阵为，并设，

5、，试分别按最小错误概率准则和极大似然译码准则确定译码规则，并计算相应的平均错误概率。15.令，失真矩阵为，对于一个等概率输入的随机变量，求率失真函数对应的定义域和。16.证明：H(X

6、Y)+H(Y

7、Z)≥H(X

8、Z)17.证明离散平稳信源有：18.试证明长度为N的r元不等长编码至多有个码字。简答题1、信息通讯系统模型答：信源，编码器，信道，译码器，信宿2、平均互信息是什么？写出常用的三种表达式，并用语言描述。答：平均互信息是信源与信宿间平均传递（或接收）信息量大小的度量1、信源冗余度（剩余度）是什么？其有何应用？大：冗余度是用来衡量信源输出的符号序列中各符号之间的依赖

9、程度的量。从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。冗余度大的消息具有强的抗干扰能力。2、香农第一、第二、第三编码定理分别指什么？并描述第一定理。答：香农第一定理：变长信源编码定理香农第二定理：有噪信道编码定理香农第三定理：保真度准则下的信源编码定理香农第一定理：离散无记忆信源X的N次扩展信源，其熵为，并有码符号集A＝{a1,…,ar}。对信源进行编码，总可以找到一种编码方法，构成唯一可译码，使信源X中每个信源符号所需的平均码长满足，或者3、你是如何理解信源编码的？答：信源编码的主要任务（1）符号变换：使信源输出符号与信道的输入符号相匹配。（2）减少冗余

10、，具体的说，就是针对信源输出符号序列的统计特性，寻找一定的把信源输出符号序列变换为最短码字序列的方法。4、信道的组合有哪些？并分别写出由两个信道构成的组合信道的信道容量。积信道，信道容量为C=C1+C2。和信道，信道容量为。级联信道，信道容量为C≤min{C1,C2}。5、请写出对称信道、准对称信道的信道特征，并给出对称信道信道容量的计算公式？输入对称转移概率矩阵P的每一行都是第一行的重新排列(包含同样元素)，称该矩阵是输入对称。输出对称转移概率矩阵P的每一列都是第一列的重新排列(包含同样元素)，称该矩阵是输出对称。对称的DMC信道输入、输出都对称。