资源描述：
《信息论 复11习new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、工学院通信工程专业，王美美复习第1章的练习题1.请问提高通信系统传输的有效性属于信息论与编码技术的哪部分内容？信源编码2.请问提高通信系统传输的可靠性属于信息论与编码技术的哪部分内容？信道编码3.请问消息、信号、符号和信息的区别是什么？信息是任何随机事件发生所包含的内容。消息包含信息，是信息的载体。符号和信号是携带信息是消息的运载工具。4.什么叫样本空间？概率空间？所有可能选择的消息的集合称为样本空间。一个样本空间和它的概率测度一起构成一个概率空间。5.事件的概率取对数再取负值，这时它代表什么？自信息6.对于概率为1
2、的确定事件来说，它含不含信息？对于概率为0的确定事件来说，它含不含信息？不含信息。含有信息。7.通信系统的模型由哪三部分组成？编码器和解码器属于哪部分的？信源、信道、信宿。编码器分为信道编码器和信源编码器，译码器分为信道译码器和信源译码器。8.信息论研究的主要内容是什么？信息的测度、信道容量以及信源和信道编码理论等问题。10工学院通信工程专业，王美美9.编码技术研究的主要内容是什么？信源编码和信道编码。第2章的练习题1.在通信系统中，消息发出的源头叫什么？信源2.若信源的样本空间为X=[a,b,c]，其对应的概率为p
3、(x)=[0.1,0.3,0.6]，请写出该信源的数学模型。3.研究信息的基础理论是：函数、统计学、算术、曲线？4.这个概率空间p(x)=[0.1,0.4,0.3,0.1]和q(x)=[0.1,0.4,0.3,0.21]正确吗？为什么？不正确。概率和不为15.自信息的数学期望代表什么？信息熵6.在信源输出前，信息熵H(X)表示什么？信源的平均不确定性7.在信源输出后，信息熵H(X)表示什么？每个消息提供的平均信息量8.考虑一个信源概率为{0.3,0.25,0.2,0.15,0.1}的DMS，求信源的的H(X)。（DM
4、S：离散无记忆信源）H(x)=0.3log(0.3)+0.25log(0.25)+0.2log(0.2)+0.15log(0.15)+0.1log(0.1)=…9.离散无记忆信源所发出的各个符号之间是a。（a）独立的，（b）有关的，（c）有统计关联性，（d）符号序列之间没有关系。10.平稳信源的特点是，它输出的序列的统计特性其条件概率与时间起点无关，只与关联长度N有关。10工学院通信工程专业，王美美11.平均符号熵与信息熵的区别是平均符号熵的各个符号之间是有关联的，信息熵的符号之间是独立的。在数量上，信息熵大于有记忆
5、信源的符号熵。12.在连续信源输出信号的幅度是被限制在[a,b]范围内的情况下，具有最大熵的信源的概率密度分布是按均匀分布的。13.在连续信源输出信号的平均功率被限制为P的情况下，具有最大熵的信源的概率密度分布是按高斯分布的。14.对于一个具体的信源，它所具有的信息量是确定的还是不确定的？确定的15.香农第一定理也叫无失真变长信源编码定理，它告诉我们：表示无失真表示信源符号的最少比特数等于该信源的熵。16.已知某离散信源由a、b、c、d组成，其发送概率为1/4、1/8、1/2、1/8。若每个符号的出现都是统计独立的，
6、求babccdbdcbbaab所包含的信息量。I=-3log(1/4)-8log(1/8)-3log(1/3)17.在一次篮球决赛中，比赛采用三局两胜制，假设红队和蓝队获胜(b)的可能性相同，请计算：（1）红队获胜(a)的结果X的信源熵H(X)；红队获胜：aa(1/4);aba(1/8);baa(1/8)H(X)=-1/4log(1/4)-2×1/8log(1/8)=5/4(bit/symbol)（2）红队在第一场失利的条件下，取得冠军的概率有多大？该事件发生后提供多大的信息量；1/4;I=-1/4log(1/4)=
7、1/2(bit/symbol)10工学院通信工程专业，王美美（3）两队打满3场所提供的信息量。3bit第3章的练习题1.在通信系统中，传输或存储信息的载体叫什么？信道2.一般信道可用哪三组变量来表示？信道输入概率空间，信道输出概率空间，信道的传递概率（转移概率）3.信道的疑义度H(X
8、Y)表示，在接收端收到符号Y后，对发送端发送的符号X是什么仍存在不确定性。4.信道的平均互信息I(X;Y)也叫信息传输率，它表示在接收端收到符号Y后，对发送端发送的符号X的不确定性的消除。5.平均互信息的最大值为信源的信息量H(X)，最
9、小值为0。6.平均互信息I(X;Y)的凹凸性有两个方面：一个是信道固定时，I(X;Y)是p(x)的上凸函数；另一个是信源固定时，I(X;Y)是p(x)的下凹函数。7.香农第二定理也叫信道编码定理，它告诉我们：信道无失真传输信息时的最大信息传输量等于信道容量。8.如果一个由字母a、b、c、d组成的字，将每个字母用两位二进制脉冲编码，其中00、01
