资源描述：
《信息论与编码复习总结》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、信息论与编码复习总结题型：填空、解答、计算1、编码：无失真与限失真信源编码定理编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真三大定理：无失真信源编码定理（第一极限定理）（可逆）信道编码定理（第二极限定理）限失真信源编码定理（第三极限定理）（不可逆）Shannon（香农）信息论：在噪声环境卜*，可靠地、安全地、存效地传送信息理论。通信系统模型方框图：信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况來分类，例如:无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（
2、DiscreteChannel）和连续信道（ContinuousChannel）、单用户信道和多用广信道等。信源的描述：通过概率空间描述离散序列信源以3位PCM信源为例X=000X=001x=nrppiP^Pv…Px_平稳包含齐次，而齐次不包含平稳(重要，第二章计算题)定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性,Pj称为平稳分布(如下)P卢000Pj^PtPu=1i=0J设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为％=门(~)JWP=FT,W-[ivxiv2••-wQ]自信息量的特性:p(Xj)=l,l(Xj)=
3、0;p(Xj)=0,l(Xj)=oo;非负性;单调递减性；可加性;定义：联合概率空间中任一联合事件的联合(自)信息量为：八〜广）二-logp（xz-,j；）=log^-定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件X的信息量定义互信息，单位为比特/（x;y）=logapMxeX,yeY单符号离散信源互信息pMpMp(y)二log私少’)二logpMp(y)P(x)p(y)二lOg£^Z^=/(w)p(y)最大熵定理//(X)0(占，士，…占)二logAZMMM平均每个符号熵(消息熵)Hl(X)=-H(X)IJ例：一个无记忆信源，随机
4、变量xe(o，i)，等概率分布，若单个符号由现为一个时间，则H(^)=lbit?符号。若WW个符号出现(L=2)，则随机序列XG{oo,oi，io，ii}序列熵H(X)=2bit/序列，2bit才能表示该事件。信道模型：二进制离散信道BSC;离散无记忆信道DMC;波形信道香农公式：C=^log(l+^^)=JFlog(l+SZV2?)香农限：—1.6dB卵。信源编码器的目的：是使编码后所需的信息传输率R尽量小。信源编码：主要任务就是减少冗余，提高编码效率。唯一可译码：（任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码）｛0,10,
5、11｝为唯一可译码，任意有限长码序列：100111000。（分类）即吋码和非即吋码唯一可译码存在的充分和必要条件各码字的长度K,应符合克劳夫特不等式:z=l-K,<1n为信源符号数，m为进制数变长编码定理：（解答，重要）？?？1、平均码长：2、根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）变长码要求编码效率96%时，序列长仅为2.随着L的增加，编码效率可接近1，有效的利用信道问：小信号集如何实现统计匹配的变长编码？答：基木思想为扩张信源，以实现统计闪配哈夫曼编码（例题）（重要
6、）哈夫曼码是即时码例：信源（ih,u2），对应概率为Pl=於，p2=ly5，取L=l,2,3，分别进行二进制哈夫曼编码。■L=l,编码ul+0,u2->l,■对应平均码长k1=l■信源熵H=0.9183bit■编码效率=0.9183L=2,每次取W个消息，组成新的联合信源■消息集概率编码■UlUi4/91■U2U22/901■U2Ui2/9000■U2U21/9001■平均码长k=0.944编码效率=0.9725■L=3,三次扩展■消息集概率编码■UlUiUi8/2701UlUiU2U1U2U1U1U2U2U2U1U1U2U1U2U2U2U1■U2U2
7、U2■平均码K:k=0.9383■编码效率=0.9787纠错能力(汉明码)(重要)00000110011011110101011例6-2(6々线性分组码，其生成矩阵是G=[111010110001011101求①②③(1)计算码集，列出信息组与码字的映射关系。(2)将该码系统化处理后，计算系统码码集并列出映射关系。(3)计算系统码的校验矩阵H。若收码1100110］，检验它是否码字？(4)根据系统码生成矩阵画出编码器电原理图。例6-2码集与映射关系信息码字系统码字000000000000000001011101001011010110001010110
8、01110110001110110011101010011110110011110110011
