资源描述:
《信息论讲义_第十二讲》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础(第十二讲)(第十二讲)授课教师:于泽电子信息工程学院201教研室为什么要进行编码¾目的是为了优化通信系统,就是使通信指标达到最佳¾通信系统的性能指标主要包括:有效性可靠性安全性经济性¾按不同的编码目的,编码分为三类:©信源编码©信道编码©安全编码/密码2信源编码由于信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。具体说,就是针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。3信道编
2、码和密码信道编码–是以提高信息传输的可靠性为目的的编码。可靠性–通常通过增加信源的冗余度来实现。采用的方法与信源编码正好相反。密码–是以提高通信系统的安全性为目的的编码。–通常通过加密和解密来实现。从信息论的观点出发“加密”可视为增熵的过程,“解密”可视为减熵的过程。4信源编码的基本途径是什么?信源编码的基本途径有两个:¾一是使序列中的各个符号尽可能地互相独立,即解除相关性------方法包括预测编码和变换编码;¾二是使编码中各个符号出现的概率尽可能地相等,即概率均匀化------方法主要是统计
3、编码。5信源编码的基础是什么?信源编码的基础是:两个编码定理,即无失真编码定理和限失真编码定理。6第五章无失真信源编码内容提要5.1编码器5.2分组码5.3定长编码5.4变长编码5.5变长编码方法—香农(Shannon)编码—霍夫曼(Huffman)编码—费诺(Fano)编码7第五章无失真信源编码•研究信源编码时,将信道编码和译码看成是信道的一部分,而突出信源编码;•研究信道编码时,将信源编码和译码看成是信源和信宿的一部分,而突出信道编码。85.1编码器无失真信源编码将信源产生的全部信息无损地送
4、给信宿,这种信源编码称无失真信源编码。95.1编码器(续)数学模型:信源符号集SXY代码组C编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q输入:信源符号集S=(s,s,…s),由q个符号组成12q码符号集X=(x,x…x),由r个符号组成12r105.1编码器(续)数学模型:信源符号集SCXY代码组编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q输出:代码组C=(w,w,…w),由q个码字组
5、成12q其中,w=(xx...x)称为码字,l称为码字长度ii1i2ilii115.1编码器(续)数学模型:信源符号集SCXY代码组编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q编码器的作用:将信源符号集S中的符号s,i=1,2…,qi→变换成由码符号集X中的码元x,j=1,2…,rj组成的长度为l的一一对应的码字i码字w=(xx...x)的集合称为代码组C。ii1i2ili125.1编码器(续)若码集为{0,1},所得码字为二元序列,称为二
6、元码例如,信源符号X={a,a,a,a},对应不同码字如表1234信源符号码表信源符号出现概率码0码1码2码3码4ap(a)=1/200001111ap(a)=1/4011110100122ap(a)=1/810000010000133ap(a)=1/81111011000000144135.1编码器(续)码分类:•固定长度码:(定长码)代码组C中所有码字的长度相同。•可变长度码:(变长码)代码组C中码字的长度不相同。145.1编码器(续)•二元码若码符号集X={0,1},编码所得码字为一些适合
7、在二元信道中传输的二元序列,则称二元码。二元码是数字通信与计算机系统中最常用的一种码。•r元码若码符号集共有r个元素,则所得之码称为r元码.155.1编码器(续)•同价码若码符号集X:{}x1,x2,...,xr中每个码符号所占的传输时间都相同,则所得的码为同价码。对同价码来说等长码中每个码字的传输时间相同,而变长码中每个码字的传输时间就不一定相同。165.1编码器(续)码奇异性:非奇异码:代码组C中所有码字都不相同。奇异码:代码组C中有相同的码字。175.1编码器(续)N次扩展码:Ssss=(
8、,,,)?CWi=(,1=,2,,)?q12qiNNNNNNSiq=={αi,1,2,,?}Cw=={i,1i,2,,?q}*(+(N,*(+(N,α=sss?VW=WW?11111111α=sss?VW=WW?21122112@@@@@@@@αqN=sqqss?qVWqN=qqWW?q代码组C的N次扩展码CN构成N次扩展信源的代码组。185.2分组码1.定义:信源符号集S中的每一个符号S都映射成一i个固定的码字W,这种码称为分组码.i2.性质:—奇异性—唯一可译性—即时码195.2分组码(续)