信息论与编码复习资料(新)

《信息论与编码复习资料(新)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、“信息论与编码”复习1．消息、信号、信息的含义、定义及区别。信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言，文字和图像等。信号是消息的物理体现。消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息2．信息的特征与分类。1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；2信息是能使认识主体对某一事物的

2、未知性或不确定性减少的有用知识；3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；4信息是可以量度的，信息量有多少的差别。31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。信宿需要研究的问题是能收到或提取多少信息。信道的问题主要是它能够传送多少信息，即信道容量的多

3、少。5．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。提高可靠性：信道编码。增加冗余。提高安全性：加密编码。6．随机事件的不确定度和它的自信息

4、量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：•不确定度是信源符号固有的，不管符号是否发出；•自信息量是信源符号发出后给予收信者的；•为了消除该符号的不确定度，接受者需要获得信息量。自信息量7．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。自信息量指的是该符号出现后，提供给收信者的信

5、息量。8.各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。信源熵：9信源熵的基本性质与定理及其理解？•熵的性质?对称性?非负性?确定性?香农辅助定理?最大熵定理小结：信源熵H(X)的三种物理含义：?表示信源输出后，每个离散消息所提供的平均信息量。?表示信源输出前，信源的平均不确定度。?反映了变量X的随机性。10.最大离散熵定理及理解。11克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。1213.什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主

6、要特点。14151617.理解Huffman编码是最佳编码？18.游程编码相关定义与步骤？19.纠错编码的分类（从不同的角度）？20常用哪些差错控制的方法？主要特点？21简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。22汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？2324.分组码具有纠、检错能力的物理本质（许用码组和禁用码组）？（n,k）码•许用码2k•总码2n•禁用码

7、=总码-许用码25.二进制分组码纠、检错能力与汉明距离的关系？定理：若纠错码的最小距离为dmin⑴以检测出dmin-1个差错⑵⑵当dmin³2t+1时，可以纠正t个差错26.线性分组码的定义、构造、性质？1）生成矩阵使用生成矩阵可以得到全部的信道编码的码字2）由生成矩阵得到监督矩阵a)系统化b)3)判断码字4）译码：标准阵列译码和伴随式译码A)标准阵列的生成B）译码最小汉明距离译码27两种线性分组码：汉明码和循环码汉明码•例构造一个m=3的二元汉明码•解：码长n=2m-1=7信息位数k=2m-m-1=4监督位

8、数r=n-k=m=328.循环码的定义及其性质？系统循环码的编码方法？000000000111010111010111010011010011010011010011110011102.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即