信息论编码作业.doc

《信息论编码作业.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论编码一．信息论的认识1.消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。2.由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源3.单符号信源：输出是单个符号（代码）的消息n离散信源n连续信源4.平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关----平稳！n离散平稳信源n连续平稳信源n无记忆（独立）离散平稳信源n有记忆信源nm阶马尔可夫信源5.随机波形信源l信息是信

2、息论中最基本、最重要的概念，既抽象又复杂l信息在日常生活中被认为是“消息”、“知识”、“情报”等l“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；l“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息；l信息不同于信号，信号是承载消息的物理量；l信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。6.互信息量I(xi;yj)：收到消

3、息yj后获得关于xi的信息量即：互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量对于无干扰信道，I(xi;yj)=I(xi)；二．我们学到了1.离散信源熵和互信息定义具有概率为p（xi）的符号xi的自信息量为I(xi)=-logp（xi）信源输出的整体特征用平均自信息量，表示本身的特征用信源熵。2.信道与信道容量信道分类：根据用户数量可分为单用户信道和多用户信道根据信道输入端和输出端的关系可分为无反馈信道和反馈信道。根据信道参数与时间的关系可分为固定参数信道和时变参数信道。根据信道中所受噪

4、声种类的不同，可分为随即差错信道和突发差错信道。根据输入输出的特点可分为离散信道、连续信道、半离散半连续信道、波形信道等。3.信源编码编码——————码树（1）r进制码树对应r进制编码（2）码序列为树根到每个终端结点的树枝的序号（3）n级终端节点对应一个码字最多有n个码字符号（4）q个终端节点对应q个不同码字一.编码器模型由于信源编码可以不考虑抗干扰问题，所以它的数学模型比较简单。下图为一个编码器模型:4.码树形状：倒立树概念：树枝：码树上的线段结点：树枝的两端点树根N级结点R进制码树终端节点5.编码（1）变长

5、码若一组码中码字的码长各不相同（即码字长度不等），则称为变长码.如表中“编码1”为等长码，“编码2”为变长码。信源符号si符号出现概率p(si)编码1编码2s1p(s1)000s2p(s2)0101s3p(s3)10001s4p(s4)11101（2）分组码若每个信源符号按照固定的码表映射成一个码字，则称为分组码。否则就是非分组码.如果采用分组编码方法，需要分组码具有某些属性，以保证在接收端能够迅速而准确地将接收到的码译成与信源符号对应的消息。下面讨论分组码的一些直观属性。（3）非奇异码和奇异码若一组码中所有码

6、字都不相同(即所有信源符号映射到不同的码符号序列)，则称为非奇异码。反之，则为奇异码。如表中的“编码2”是奇异码，其他码是非奇异码。（4）惟一可译码若任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（或称单义可译码）。否则就称为非惟一可译码或非单义可译码。若要使某一码为惟一可译码，则对于任意给定的有限长的码符号序列，只能被惟一地分割成一个个的码字。（5）综上所述，可将码作所示的分类：6.码树如下图–树根èç码字起点；树枝数èç码的进制数；–节点èç码字或码字的一部分；终端节点

7、èç码字；–阶数èç码长；非整树èç变长码；–整树èç等长码。–变长码往往在码长的平均值不很大时，就可编出效率很高而且无失真的码，其平均码长受香农第一定理所限定，即：–若对信源离散无记忆信源S的N次扩展信源进行编码，则总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的平均码长满足：7.编码分类：香浓编码（1）香农第一定理指出，可选择每个码字的长度满足关系式：或：（2）éxù表示不小于x的整数。按不等式选择的码长所构成的码称香农码。香农码满足克拉夫特不等式，所以一定存在对应码字的长度的惟一可译码

8、。（3）香农码的编码步骤如下：【1】将个信源符号按概率递减的方式进行排列：【2】按香农不等式计算出每个信源符号的码长；【3】为了编成惟一可译码，计算第i个信源符号的累加概率【4】将累加概率用二进制数表示。【5】取对应二进制数的小数点后位构成该信源符号的二进制码字。信源符号  对应的二进制数  码字 0.2000.0002.343000 0.190.20.0011…2.413001 0.