欢迎来到天天文库
浏览记录
ID:17386592
大小:168.50 KB
页数:7页
时间:2018-08-30
《信息论基础》试卷(期末a卷》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、重庆邮电大学2007/2008学年2学期《信息论基础》试卷(期末)(A卷)(半开卷)一、填空题(本大题共10小空,每小空1分,共20分)1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。2.一个八进制信源的最大熵为3bit/符号3.有一信源X,其概率分布为,其信源剩余度为94.64%;若对该信源进行十次扩展,则每十个符号的平均信息量是15bit。4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出,则该信源的绝对熵是;其能在每个自由度熵的最大熵是log(b-a)bit/自
2、由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog(b-a)bit/s.5.若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵的最大值为;与其熵相等的非高斯分布信源的功率为6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr=Hr(S))。8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。10、在下面空格中选择填入数学符号“”或“”(1)当X和Y相互独立时,H(XY)=
3、H(X)+H(X/Y)。(2)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y)>0,H(Y/X)=0,I(X;Y)4、P(2,5)+P(3,4)+P(4,3)=1/366=1/6则该消息包含的信息量是:I=-logP(“点数和为7”)=log6=2.585bit3.P(“两个点数没有一个是1”)=1-P(“两个点数中至少有一个是1”)=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是:I=-logP(“两个点数中没有一个是1”)=log25/36=0.53bit三、设X、Y是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算:1.H(Y)、H(Z);2.H(XY)5、、H(YZ);3.I(X;Y)、I(Y;Z);解:1.=1bit/符号Z=YX而且X和Y相互独立==故H(Z)==1bit/符号2.从上式可以看出:Y与X的联合概率分布为:P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/符号3.X与Y相互独立,故H(X6、Y)=H(X)=1bit/符号I(X;Y)=H(X)-H(X7、Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y8、Z)=H(Y)-[H(YZ)-H(Z)]=0bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1.绘制状态转9、移图;2.求该马尔科夫信源的稳态分布;3.求极限熵;解:1.状态转移图如右图2.由公式,可得其三个状态的稳态概率为:3.其极限熵:五、在干扰离散对称信道上传输符号1和0,已知P(0)=1/4,P(1)=3/4,试求:010.90.10.10.9011.该信道的转移概率矩阵P2.信道疑义度H(X10、Y)3.该信道的信道容量以及其输入概率分布解:1.该转移概率矩阵为P=2.根据P(XY)=P(Y11、X)P(X),可得联合概率P(XY)YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由P(X12、Y)=P(X13、Y)/P(Y)可得P(X14、Y)Y=0Y15、=1X=03/41/28X=11/427/28H(X16、Y)=-3.该信道是对称信道,其容量为:C=logs-H=log2-H(0.9,0.1)=1-0.469=0.531bit/符号这时,输入符号服从等概率分布,即六、某信道的转移矩阵试求:该信道的信道容量及其最佳输入概率分布。解:该信道是准对称信道,分解为两个互不相交的子信道矩阵这里C=logr-H(P的行矢量)-=0.174bit/符号这时,输入端符号服从等概率分布,即=七、信源符号X有六种字母,概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码,写出
4、P(2,5)+P(3,4)+P(4,3)=1/366=1/6则该消息包含的信息量是:I=-logP(“点数和为7”)=log6=2.585bit3.P(“两个点数没有一个是1”)=1-P(“两个点数中至少有一个是1”)=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是:I=-logP(“两个点数中没有一个是1”)=log25/36=0.53bit三、设X、Y是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算:1.H(Y)、H(Z);2.H(XY)
5、、H(YZ);3.I(X;Y)、I(Y;Z);解:1.=1bit/符号Z=YX而且X和Y相互独立==故H(Z)==1bit/符号2.从上式可以看出:Y与X的联合概率分布为:P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/符号3.X与Y相互独立,故H(X
6、Y)=H(X)=1bit/符号I(X;Y)=H(X)-H(X
7、Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y
8、Z)=H(Y)-[H(YZ)-H(Z)]=0bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1.绘制状态转
9、移图;2.求该马尔科夫信源的稳态分布;3.求极限熵;解:1.状态转移图如右图2.由公式,可得其三个状态的稳态概率为:3.其极限熵:五、在干扰离散对称信道上传输符号1和0,已知P(0)=1/4,P(1)=3/4,试求:010.90.10.10.9011.该信道的转移概率矩阵P2.信道疑义度H(X
10、Y)3.该信道的信道容量以及其输入概率分布解:1.该转移概率矩阵为P=2.根据P(XY)=P(Y
11、X)P(X),可得联合概率P(XY)YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由P(X
12、Y)=P(X
13、Y)/P(Y)可得P(X
14、Y)Y=0Y
15、=1X=03/41/28X=11/427/28H(X
16、Y)=-3.该信道是对称信道,其容量为:C=logs-H=log2-H(0.9,0.1)=1-0.469=0.531bit/符号这时,输入符号服从等概率分布,即六、某信道的转移矩阵试求:该信道的信道容量及其最佳输入概率分布。解:该信道是准对称信道,分解为两个互不相交的子信道矩阵这里C=logr-H(P的行矢量)-=0.174bit/符号这时,输入端符号服从等概率分布,即=七、信源符号X有六种字母,概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码,写出
此文档下载收益归作者所有