资源描述：
《第4章离散信源编码理论ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章──────────────离散信源编码理论4.1信源编码的基本概念4.3信源无失真编码4.4信息率失真函数及性质4.5信息率失真函数与信道容量4.7香农第三定理2021/7/3014.1信源编码的基本概念4.1信源编码的基本概念1.为什么要进行信源编码信源的两个重要问题信源输出的信息量计算问题；如何更有效地表示信源输出的问题。信源编码就是为了提高通信效率，对信源所发送的消息进行变换的方法之一。为什么要进行信源编码人们都希望无失真传送，首先要对信源无差错编码；数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。2021/7/30
2、24.1信源编码的基本概念2.信源编码的概念信源编码定义：指定能够满足信道特性（适合于信道传输）的符号序列—码序列，来代表信源输出的消息。编码器：完成编码功能的器件。离散信源输出的码序列离散信源输出的消息是由一个个离散符号组成的随机序列信源编码就是把信源输出的随机符号序列变成码序列2021/7/3034.1信源编码的基本概念2.信源编码的概念研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码；研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。2021/7/3044.1信源编码的基本概念2.信源编码的概
3、念讨论无失真信源编码先不考虑抗干扰问题，它的数学模型比较简单，如下图。信源符号：编码器的输入是信源符号X={x1,x2,…,xi,…xn}。信源符号序列：码符号/码元：元素yj是适合信道传输的符号，Y={y1,y2,…,yj,…ym}称为码符号/码元。2021/7/3054.1信源编码的基本概念码字（码符号序列）：码长（码字长度）：ki称为码字长度或简称码长。编码：从信源符号到码符号的一种映射。若要实现无失真编码，这种映射必须是一一对应的，可逆的。2.信源编码的概念编码器功能：将信源符号集当中的符号xi（或者长为L的信源符号序列）变换成由y
4、j(j=1,2,…,m)组成的长度为ki的序列。2021/7/3064.1信源编码的基本概念二元码：码符号集为X={0,1}，所得码字都是一些二元序列。定长码（等长码）：一组码中所有码字的码长都相同，即：ki=K(i=1,2,…,n)。变长码：一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。非奇异码：一组码字中所有码字都不相同，即所有信源符号影射到不同的码符号序列。奇异码：一组码中有相同的码字。惟一可译码：码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。即时码：不需要考虑后续的码符号，可以根据当前的码
5、符号序列正确译出相应的码字。2021/7/3074.1信源编码的基本概念码树图m元（m进制）码树图树根：最顶部画一个起始点。树枝：从根部引出m条线段，每条线段都称为树枝。一级节点：自根部起,通过一条树枝到达的节点。一级节点最多有m个.n级节点：通过n条树枝达到的节点。最多有mn。终节点/终端节点：下面不再有树枝的节点。中间节点：除了树根和终节点以外的节点。联枝：串联的树枝。满树：在码树图中，当每一个码字的串联枝数都相同时，就是定长码。此时的码树称为满树。2021/7/3084.1信源编码的基本概念[例]：码1：显然不是惟一可译码。x2和x4
6、对应于同一码字“11”，码1是一个奇异码。码2：是非奇异码，不是惟一可译码。当收到一串码符号“01000”时，可将它译成“x4x3x1”，也可译为“x4x1x3”，“x1x2x3”或“x1x2x1x1”等，这种码从单个码字来看虽然不是奇异的，但从有限长的码序列来看，它仍然是一个奇异码。码3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。码4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。即时码/前缀条件码/异前置码/异字头码/逗点码/非延长码：如果一个码的任何一个码字都不是其
7、它码字的前缀。2021/7/3093.克拉夫特不等式克拉夫特不等式：m元长度为ki，i=1,2,…,n的即时码存在的充要条件是证明：必要条件：设即时码第i个码字的长度为ki，i=1,2,…,n，造一个码树图，在第ki级总共有个节点。第i个码字占据了第ki级的，根据即时码的定义，其后的树枝不能再用。对于N级满树，其后不能用的枝数为，那么总共不用的枝数为。N级满树第N级上的总枝数已知为mN，所以必有两边除以mN，就得：。4.1信源编码的基本概念2021/7/30103.克拉夫特不等式克拉夫特不等式：m元长度为ki，i=1,2,…,n的即时码存在
8、的充要条件是证明：充分条件：如果式成立，则必成立，总可以把第N级上的树枝分成n组；各组中从第N级开始删除(i=1,2,…n)个枝；相对于N级满树，等于删除了所有可能的ki级节点的
