信息论复习补充说明new

《信息论复习补充说明new》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、考试题型：一、填空题（每空1分，共25分）二、选择题（每题2分，共20分）三、综合题（共55分）重点：1、信源编码：哈夫曼编码和费诺编码，求平均码长和编码效率2、会求信道输入熵、输出熵、损失熵、噪声熵以及平均互信息量，信道容量和最佳输入分布。3、线性分组码：会求信道监督矩阵和生成矩阵，会求系统码，能判读出所接收的码元是正确还是错误。4、循环码的码生成多项式，生成矩阵，系统码5、加密：希尔密码和换位密码的加密解密过程。1、按照作用的不同可以把信息划分成（）、（）和干扰信息；按照性质的不同可以把信息划分成

2、（）、（）和语用信息。2、不同形式的消息可能包含同样多的（）；（）是信息的载体，信息是信号所载荷的（）。3、（）的概念是香农信息论最基本、最重要的概念。4、互信息的（）说明从bj得到的关于ai的信息量与从ai得到的关于bj的信息量是一样的。5、信息是不确定性的（）。6、H（Y

3、X）代表信道因噪声干扰所呈现的无序程度，因此通常把H（Y

4、X）成为信道的（）。H（X

5、Y）即代表收到输出Y后对输入X还存有的疑义，又代表信道在信息传输过程中（）的信息，因此，通常把H（X

6、Y）称为信道的（）。7、信道编码的是以提

7、高信息传输的（）为目的，通常通过（）信源的冗余度来实现。信源编码是以提高通信（）为目的的编码。通常通过压缩信源的（）来实现。8、（）表征信源的平均不确定度，（）是消除信源不确定度所需的信息的量度。10、定长编码定理中的正定理说明：（）略大于单符号熵时，可做到几乎无失真译码，条件是L必须足够大。11、根据信道输入、输出随机变量个数的多少，信道可以分为（）信道和（）信道；根据信道有无记忆特性，信道可以分为（）和（）信道。12、1948年，美国数学家（）发表了题为“通信的数学理论”的长篇论文，从而创立了信息

8、论。13、信道编码定理指出，不论何种信道，只要信息率R（）信道容量C，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C的传输率来传送信息；反之，则传输总要产生失真。无失真信源编码定理又指出，要做到几乎无失真信源编码，信息率R必须（）信源熵H（X）。14、d(ai,bj)为单个符号的失真度或失真函数，用来表示信源发出一个符号ai，而在接收端再现bj所引起的误差或（）。15、信息率失真函数R（D）是在一定约束条件下（）的极小值，反映的是信源可压缩的程度。16、密码是以提高通信系统的（）为目的的

9、编码。17、（）和置换是古典密码中用到的两种基本处理技巧。18、消息发生的概率越大，所包含的信息量越（）；消息发生的概率越小，所包含的信息量越（）。19、平均互信息量I（X；Y）是输入信源概率分布的（）凸函数；是信道概率分布的（）凸函数。20、从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了（），这就是所谓“信息就是（）熵”的概念。21、一个离散平稳无记忆信源X的N次扩展信源的熵等于信源X熵的（）倍。22、条件多的熵（）于条件少的熵。23、衡量信息传输速度大小的指标是

10、信道的信息（传输）率R，其最大值就是（）。24、若信道是离散、无记忆、平稳的，且信道容量为C，只要待传送的信息率()，就一定能找到一种信道编码方法，使得码长L足够大时，平均差错率Pe任意接近于零。25、当每一个码字的串联支数都相同时，就是（）码，此时的码树称为（）。26、在线性分组码中，（）等于最小非零码字重量。