信息论编码与基础课后题(第二章)

《信息论编码与基础课后题(第二章)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2、设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得

2、了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息3、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态

3、，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为4、两个信源和均有两种输出：和，概率分别为，，。试计算和。设发出序列0101，发出0111，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。）解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送

4、（携带）的信息为5、从普通的52张扑克牌中随机地抽出一张(a)当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？(b)如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？解：(a)根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b)在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。6、同时掷出两

5、个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)，(2)(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排

6、列，可以得出两个点数求和的概率分布如下：(5)7、某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求信源熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。解：(1)(2)(3)8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A为女大学生，B为1.6米以上的女孩，则依题意有:，，，，所以信息量为

7、=1.415比特9、设离散无记忆信源=，其发出的消息为（202120130213001203210110321010021032011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：(1)因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。I（）=−logP（）=−log=1.415比特I（）=−logP（）=−log=2比特I（）=−logP（）=−log=2比特I（）=−logP（）=−log=3比特则此消息的自信息是：I=18I（）+1

8、3I（）+12I（）+6