信息论部分习题及解答

《信息论部分习题及解答》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量。（2）“两个1同时出现”这事件的自信息量。（3）两个点数的各种组合（无序对）的熵或平均信息量。（4）两个点数之和（即2，3，…，12构成的子集）的熵。（5）两个点数中至少有一个是1的自信息。解：（1）设X为‘3和5同时出现’这一事件，则P（X）=1/18，因此(比特)（2）设‘两个1同时出现’这一事件为X，则P（X）=1/36，因此(比特)(3)“两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则(比特/组合)（4）（5）两个点数至少有一个为1的概率为P（X）=1

2、1/36（比特）2-6设有一离散无记忆信源，其概率空间为该信源发出的信息符号序列为（202120130213001203210110321010021032011223210），求：（1）此信息的自信息量是多少？（2）在此信息中平均每个符号携带的信息量是多少？解：（1）由无记忆性，可得18（2）2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包括的不确定度。（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度。解：（1）（2）（3）（4）

3、2-11两个试验X和Y，，联合概率已给出，（1）如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的试验结果，你得到的平均信息量是多少？（3）在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量是多少？解：（1）（2）（3）2-12有两个二元随机变量X和Y，他们的联合概率如表所示，并定义另一随机变量Z=XY（一般乘积）。试计算：(1)H（X），H（Y），H（Z），H（XZ），H（YZ）和H（XYZ）。18(2)H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ）H（Y/XZ）和H（Z/XY）。(3)I（

4、X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X）和I（X；Z/Y）。XY0101/83/813/81/8解：（1）(比特/符号)比特/符号由表得比特/符号比特/符号比特/符号（2）18(3)2-13一个信源发出二重符号序列消息（i,j），其中第一个符号i可以是A，B，C中的任一个，第二个符号j可以是D，E，F，G中的任一个。已知各个值列成如下表。求这个信源的熵（联合熵）。ABC1/21/31/6D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：182-14在一个二进制信道中，信源消息集X={0，1}，且p(1)=p(0)，信宿的

5、消息集Y={0，1}，信道传输概率p(1/0)=1/4,p(0/1)=1/8。求：（1）在接收端收到y=0后。所提供的关于传输信息x的平均互信息量I（X；y=0）。（1）该情况所能提供的平均互信息量I（X；Y）。解：（1）=信道转移概率矩阵为由得关于的边际分布为由得信道逆向转移概率矩阵所以182-24某一无记忆信源的符号集为{0，1}，已知。（1）求符号的平均熵。（2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式。（3）计算（2）中的序列的熵。解：（1）（2）（3）由于该信源是无记忆的符号集，所以3-1将某六进信源进行二进编码如下表

6、所示。求(1)这些码中哪些是唯一可译码？（2）哪些码是非延长码（即时码）？18（3）所有唯一可译码的平均码长和编码效率。符号概率1/20000001011/40010110100000011/1601001111011010011001/160110111111011000101011/16100011111111010011101101/161010111111111101111110111解：（1）根据kraft不等式，中>1，所以不是唯一可译码，，，，中不是唯一可译码。例如1001010，有2译码方式和，所以不是唯一可译的，，，，是唯一可译码。（2）根据即时码定义，即时码又叫非前缀码

7、，中是其它码的前缀，故18不是即时码。因此，，是即时码。（3）：平均码长（码字符号/信源符号）平均信息率（比特/符号）：：：183-5某信源有8个符号，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。求（1）信源的符号熵H（U）；（2）出现一个“1”或一个“0”的概率；（3）这种码的编码效率；（4）相应的