资源描述：
《信息论与编码习题课新》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第一章第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法?冗余度?具有概率为的符号自信息量：条件自信息量：平均自信息量、平均不确定度、信源熵：条件熵：联合熵：互信息：熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各
2、种组合（无序）对的熵；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)(2)(3)两个点数的排列如下：共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是111213141516212223242526313233343536414243444546515253545556616263646566(4)两个点数求和的概率分布如下：(5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,
3、1),(1,1)}2.7设有一离散无记忆信源，其概率空间为（1）求每个符号的自信息量。（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量。解：同理可以求得因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有：平均每个符号携带的信息量为bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息：{0,1,2,3}八进制脉冲可以表示8个不同的消息：{0,1,2,3,
4、4,5,6,7}二进制脉冲可以表示2个不同的消息：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以，四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算：（1）点和划的信息量；（2）点和划的平均信息量。“－”出现的概率是解：“”出现概率的1/3(1)I()＝bitI()=(2)H=bitBit/符号2-10在一个袋中放5个黑球
5、、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度。解：（1）(2)P(黑/黑)=P(白/黑)=H(Y)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)H(Y)=2-14在一个二进制信道中，信源消息，且p(1)=p(0),信宿的消息,信道传输概率，（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I(X;y=0);（2）该情况所能提供的平均
6、互信息量I(X;Y)。。求：解：(1)P(i，j)=P(i/j)=(2)方法1:=方法2:2-15已知信源发出a1和a2两种消息，p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为。求互信息量I(a1;b1)和I(a1;b2)。解：信道转移概率矩阵为P(bj/ai)=p222.17每帧电视图像可以认为是由个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息
7、量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：（1）（2）（3）2-26一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C中的一个，第二个符号X2可以是D,E,F,G中的一个。已知各个为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个值列成如下。求这个信源的熵（联合熵H(X1，X2)）。ABCD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：P(i)=P(i，j)=第三章信道容量的定义：无噪无损离散信道：对称DMC信
8、道、准对称DMC信道的定义？对称DMC信道：准对称DMC信道：（连续信道）香农公
