《信息论与编码》习题集

《《信息论与编码》习题集》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型解：（1）根据，且，得，所以信源概率空间为（2）根据，且，得。2-2由符号集组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2，P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态概率。解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为：P(00/00)=0.8P(10/11)=0.2P(01/00)=0.2P(1

2、1/11)=0.8P(10/01)=0.5P(00/10)=0.5P(11/01)=0.5P(01/10)=0.5二进制二阶马氏链的状态集S={}={00，01，10，11}状态转移图各状态稳定概率计算：即21得：即：P(00)=P(11)=P(01)=P(10)=2-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：2-72-7设有一离散无记忆信源,其概率空间为该信源发出的消息符号序列为(202120130213001203210110321010021032011223210),求此消息的自

3、信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为=14,“1”个数为=13,“2”个数为=12,“3”个数为=6.消息序列总长为=+++=45(个符号)(1)消息序列的自信息量:-(2)平均每个符号携带的信息量为:2-14在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P（0/1）=1/8。求：（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I（X;y=0）。(2)该情况所能提供的平均互信息量I（X；Y）。解：X={0,1},Y={0,1}21求(2)2

4、-25某一无记忆信源的符号集为{0，1}，已知，。（1）求符号的平均熵。（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100-m个1）的自信息量的表达式。（3）计算(2)中的序列的熵。解：（1）对离散无记忆信源符号的平均熵：比特/符号（2）长度为L=100的符号序列中某特定序列，其中“0”的个数为m，“1”21的个数为100-m.该特定序列的概率为对离散无记忆信源，其符号独立出现，即则该特定序列的自信息量为：=41+1.59m(bit)(3)长度为L=100的符号序列离散无记忆信源熵：=H(XX…X)==81（比特/序列）2-30有一马尔可夫信源，已知转移概率

5、为，，，。试画出状态转移图，并求出信源熵。解：（1）由题意知，该马尔可夫信源阶数为1，状态集S=，状态转移图为：(2)信源熵：a)求稳态概率计算方程：即：得：即：P(S)=0.75，P(S)=0.25b)求H(X/S)H(X/S)21则信源熵：H=H=0.69比特/符号2-33一阶马尔可夫信源的状态图如图2-14所示，信源X符号集为{0，1，2}。（1）求平稳后信源的概率分布；（2）求信源熵；（3）求当p=0或p=1时信源的熵，并说明其理由。解：（1）一阶马尔可夫信源的状态空间S=X={0，1，2}，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集

6、，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即根据状态转移图，得状态一步转移矩阵：计算方程组即整理计算得：即状态极限概率P(0)=P(1)=P(2)=1/3(2)根据马尔可夫信源熵的表达式：=21由=同理从而比特/符号（3）当p=0或p=1时信源的熵，这是因为p=0或p=1时信源为确定性信源，观察着对信源发出什么符号不存在任何不确定度，所以信源不提供任何的信息量。第三章3-1．设二进制对称信道的概率转移距阵为.（1）若p()=3/4，p()=1/4,求H(X),H(X

7、Y),H(Y

8、X)和I(X

9、;Y)。(选做)（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解：（1）由题意可得x的先验概率P()=3/4,p()=1/4.H(x)=H(3/4,1/4)=0.82bit/符号由概率转移距阵得符号转移概率：p(

10、)=2/3,p(

11、)=1/3,p(

12、)=1/3,p(

13、)=2/3.联合概率：p(,)=p()p(

14、)=1/2同理：p(,)=1/4，p(,)=1/12，p(,)=1/6则条件熵：=0.91bit/符号21另外p()=7/12p()=5/12=0.9799根据得=0.7494bit/