资源描述:
《信息论与编码第2章习题》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、习题1同时掷两个正常的骰子,即各面呈现的概率都是1/6。求:“3和5同时出现”这一事件的自信息量。“两个1同时出现”这一事件的自信息量。两个点数的各种组合(无序对)的熵。两个点数之和(即2,3,…,12构成的子集)的熵。两个点数中至少有一个是1的自信息。两个点数是3的信息量。两个点数是7的信息量。7/24/20211习题11234561234561,11,21,31,41,51,62,12,22,32,42,52,63,13,23,33,43,53,64,14,24,34,44,54,65,15,25,35,45,55,66
2、,16,26,36,46,56,62345673456784567895678910678910117891011127/24/20212习题2黑白传真机的消息元只有黑色和白色两种,即X={黑,白}。一般气象图上,黑色出现的概率为p(黑)=0.3,白色出现的概率为p(白)=0.7。求:假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图。实际上各元素之间有关联,其转移概率为:p(白/白)=0.9143p(黑/黑)=0.8求:这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。7/24/20213习题3有6行、
3、8列的棋型方格,若有两个质点A和B分别以等概率落入任一方格内,但A、B不能落入同一方格内。求:若仅有质点A,求A落入任一个格的平均信息量若已知A已落入,求B落入的平均信息量若A、B是可分辨的,求A、B都落入的平均信息量7/24/20214习题4从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含有多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?7/24/20215习题5在一个
4、袋中放有5个黑球,10个白球,以摸一个球为一个实验,摸出的球不再放进去。求:一次实验包含的不确定度。第一次实验X摸出的是黑球,第二次实验Y给出的不确定度。第一次实验X找出的是白球,第二次实验Y给出的不确定度。第二次实验Y包含的不确定度。7/24/20216习题6有一个可旋转的圆盘,盘面上被均匀地分成38份,用1,2,…,38数字标示,其中有2份涂绿色,18份涂黑色,18份涂红色。圆盘停转后,盘面上指针指向某一数字和颜色。求:若仅对颜色感兴趣,计算平均不确定度。若对颜色和数字都感兴趣,计算平均不确定度。如果颜色已知时,计算条件
5、熵。7/24/20217习题7有两个二元随机变量X和Y,它们的联合概率如右表所示,并定义另一随机变量Z=XY(一般乘积)。试计算:H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)7/24/20218习题7YX0101/83/813/81/8Z01p7/81/8ZX0101/23/8101
6、/8ZY0101/23/8101/87/24/20219习题8、9某无记忆信源的符号集为{0,1},已知p0=1/4,p1=3/4。求:求符号的平均熵。由100个符号构成的序列,求某特定序列(m个“0”和100-m个“1”)的自信息量的表达式。计算②中序列的熵。设有一个二进制一阶马尔可夫信源,其信源符号为X∈(0,1),条件概率为p(0/0)=0.25p(0/1)=p(1/1)=0.5p(1/0)=0.75画出状态图并求出各符号稳态概率。7/24/202110习题10设有一信源,它在开始时以p(a)=0.6,p(b)=0.3
7、,p(c)=0.1的概率发出X1。如果X1为a时则X2为a、b、c的概率为1/3;如果X1为b时则X2为a、b、c的概率为1/3;如果X1为c时则X2为a、b的概率为1/2,而为c的概率是0。而且后面发出Xi的概率只与Xi-1有关。又p(Xi/Xi-1)=p(X2/X1),i≥3。试利用马尔可夫信源的图示法画出状态转移图,并求出转移概率矩阵和信源熵H∞。7/24/202111习题11一个马尔可夫过程的基本符号0,1,2,这三个符号以等概率出现,具有相同的转移概率,并且没有固定约束。画出一阶马尔可夫过程的状态图,并求稳定状态下
8、的马尔可夫信源熵H1。画出二阶马尔可夫过程的状态图,并求稳定状态下二阶马尔可夫信源熵H2。7/24/202112习题12有点难度,重点看看有一个一阶马尔可夫链X1,X2,…,Xr,…,各Xr取值于集A={a1,a2,a3}。已知起始概率p(ai)为:p1=1/2,p2=p3=1/4,转移概