资源描述：
《信息论讲义_第十二讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础（第十二讲）（第十二讲）授课教师：于泽电子信息工程学院201教研室为什么要进行编码¾目的是为了优化通信系统,就是使通信指标达到最佳¾通信系统的性能指标主要包括:有效性可靠性安全性经济性¾按不同的编码目的,编码分为三类：©信源编码©信道编码©安全编码/密码2信源编码由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。3信道编
2、码和密码信道编码–是以提高信息传输的可靠性为目的的编码。可靠性–通常通过增加信源的冗余度来实现。采用的方法与信源编码正好相反。密码–是以提高通信系统的安全性为目的的编码。–通常通过加密和解密来实现。从信息论的观点出发“加密”可视为增熵的过程,“解密”可视为减熵的过程。4信源编码的基本途径是什么?信源编码的基本途径有两个:¾一是使序列中的各个符号尽可能地互相独立，即解除相关性------方法包括预测编码和变换编码；¾二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化------方法主要是统计
3、编码。5信源编码的基础是什么?信源编码的基础是：两个编码定理，即无失真编码定理和限失真编码定理。6第五章无失真信源编码内容提要5.1编码器5.2分组码5.3定长编码5.4变长编码5.5变长编码方法—香农(Shannon)编码—霍夫曼(Huffman)编码—费诺(Fano)编码7第五章无失真信源编码•研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码；•研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。85.1编码器无失真信源编码将信源产生的全部信息无损地送
4、给信宿，这种信源编码称无失真信源编码。95.1编码器（续）数学模型：信源符号集SXY代码组C编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q输入：信源符号集S=(s,s,…s)，由q个符号组成12q码符号集X=(x,x…x)，由r个符号组成12r105.1编码器（续）数学模型：信源符号集SCXY代码组编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q输出：代码组C=(w,w,…w)，由q个码字组
5、成12q其中，w=(xx...x)称为码字，l称为码字长度ii1i2ilii115.1编码器（续）数学模型：信源符号集SCXY代码组编码器Ssss=(,,,)?CWWW=(,,,)12?q12q码符号集XXxxx=(,,,)?12q编码器的作用：将信源符号集S中的符号s，i=1,2…,qi→变换成由码符号集X中的码元x，j=1,2…,rj组成的长度为l的一一对应的码字i码字w=(xx...x)的集合称为代码组C。ii1i2ili125.1编码器（续）若码集为{0,1},所得码字为二元序列,称为二
6、元码例如,信源符号X＝{a,a,a,a},对应不同码字如表1234信源符号码表信源符号出现概率码0码1码2码3码4ap(a)=1/200001111ap(a)=1/4011110100122ap(a)=1/810000010000133ap(a)=1/81111011000000144135.1编码器（续）码分类：•固定长度码：（定长码）代码组C中所有码字的长度相同。•可变长度码：（变长码）代码组C中码字的长度不相同。145.1编码器（续）•二元码若码符号集X={0,1}，编码所得码字为一些适合
7、在二元信道中传输的二元序列，则称二元码。二元码是数字通信与计算机系统中最常用的一种码。•r元码若码符号集共有r个元素，则所得之码称为r元码.155.1编码器（续）•同价码若码符号集X：{}x1,x2,...,xr中每个码符号所占的传输时间都相同，则所得的码为同价码。对同价码来说等长码中每个码字的传输时间相同，而变长码中每个码字的传输时间就不一定相同。165.1编码器（续）码奇异性：非奇异码：代码组C中所有码字都不相同。奇异码：代码组C中有相同的码字。175.1编码器（续）N次扩展码：Ssss=(
8、,,,)?CWi=(,1=,2,,)?q12qiNNNNNNSiq=={αi,1,2,,?}Cw=={i,1i,2,,?q}*(+(N,*(+(N,α=sss?VW=WW?11111111α=sss?VW=WW?21122112@@@@@@@@αqN=sqqss?qVWqN=qqWW?q代码组C的N次扩展码CN构成N次扩展信源的代码组。185.2分组码1.定义：信源符号集S中的每一个符号S都映射成一i个固定的码字W，这种码称为分组码.i2.性质：—奇异性—唯一可译性—即时码195.2分组码（续）
