2010信息理论基础习题

《2010信息理论基础习题》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、四、作业第一章绪论习题[1]第一次作业1-1简述信源编码、信道编码和保密编码三种编码的联系。1-2简述通信系统各个功能部件的作用。1-3简述经典信源编码方法和现代信源编码方法的主要区别。1-4简述信息与消息、信号的区别。1-5简述香农信息定义的优缺点。1-6维纳和香农研究信息传输的异同。第二章离散信源习题[2]第一次作业2.2某大学设置有6个系，每个系的学生数分别为系别123456合计人数36036048060048036026400.182问“某学生A是五系学生”这一消息提供的信息量是多少？[3]第二次作业2.3某无线电厂生产A，B，C，D四种产品，其中A占10%

2、、B占20%、C占30%、D占40%。有两个消息“现在完成1台B种产品”，“现在完成1台C种产品”，试确定哪一种消息提供的信息量大些？2.4居住在某地区的女孩中有25%是女大学生，在女大学生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占总数的一半。假如我们得到“身高1.6米上的某女孩是大学生”的消息，问获得多少信息量？2.5设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是什么？（2）在此消息中平均每个符号携带的信息量是多少？2.6设甲地的天气预报为：晴

3、（占4/8）、阴（占2/8）、小雨（占1/8）和大雨（占1/8）；乙地天气预报为：晴（占7/8）和小雨（占1/8）。试求两地天气预报各自提供的平均自信息量。2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态。调查结果得到联合出现的相对频率如下：若把这些频度视为频率测度，求（1）忙闲的无条件熵；（2）天气状态和气温状态已知时的条件熵；（3）从天气状态和气温状态获得的关于忙闲的信息。[1]第三次作业3.3某一离散、无记忆信源的符号集为{0,1}，并已知p(0)=1/4,p(1)=3/4。试求：（1）消息符号平均熵；（2）由100符号构成的

4、序列，求某一特定序列（例如有m个“0”和100-m个“1”）的自信息量表达式；（3）计算（2）中的序列熵。（5.21）3.4某信源的消息符号集的概率分布和二进制代码如下所示：消息符号u0u1u2u3概率1/21/41/81/8代码010110111代码长度1233试求：（1）消息符号熵；（2）每个消息符号所需要的平均二进制的个数或平均代码长度。进而用这个结果求码序列中的一个二进制码的熵；（3）当消息是由符号序列组成时，各消息之间若相互独立。求其对应的二进码序列中出现“0”和“1”的无条件概率p(0),p(1)。（5.21）第三章离散信道习题[2]第四次作业4.1设有

5、一离散无记忆信源，其概率空间为它们通过一干扰信道，信道输出端的接收符号集为Y={y1,y2}，信道传递概率如题图4.1所示。试求：（1）信源X中事件x1,x2分别含有的自信息量；（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量；（3）信源X和信源Y的信息熵；（4）信道疑义度H(X

6、Y)和噪声熵H(Y

7、X);（5）接收到消息Y后获得的平均互信息。（5.21）[3]第五次作业3.4设有一批电阻，按阻值分70%是2kΩ，30%是5kΩ；按瓦数分64%是1/8W，其余是1/4W。现已知2kΩ阻值的的电阻中80%是1/8W。问通过测量阻值可以平均得到的

8、关于瓦数的信息量是多少？[4]第六次作业3.11有一个二元对称信道，其信道矩阵如图3.28所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=0.5。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完。第四章无失真信源编码习题[7]第七次作业：4.2设无记忆二元信源,其概率为p1=0.005,p0=0.995。信源输出N=100的二元序列。在长为N=100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。（1）求码字所需的最小长度。（2）考虑没

9、有给予编码的信源序列出现的概率，该等长码引起的错误概率PE是多少？4.3有一个信息源，有六个可能的输出，其概率分布如习题2-9表所示，表中给出了对应的码A、B、C、D、E和F。（1）求这些码中哪些是唯一可译码；（2）求哪些是非延长码（即时码）；（3）对所有唯一可译码求出其平均码长。习题2-9表消息p(ai)ABCDEFa11/200000000a21/400101101010100a31/160100111101101100101a41/160110111111011101101110a51/16100011111111010111110111a61/16101