第5章无失真信源编码定理

《第5章无失真信源编码定理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、幻灯片1第5章无失真信源编码定理幻灯片2l通信的实质是信息的传输。高效率、高质量地传送信息又是信息传输的基本问题。l信源信息通过信道传送给信宿，需要解决两个问题：l第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以提高信息传输率。l第二，在信道受干扰的情况下，如何增强信号的抗干扰能力，提高信息传输的可靠性同时又使得信息传输率最大。l为了解决以上两个问题，引入了信源编码和信道编码。幻灯片3l提高抗干扰能力（降低失真或错误概率）往往是增加剩余度以降低信息传输率为代价的；反之，要提高信息传输率往往通过压缩信源的剩余度来实现，

2、常常又会使抗干扰能力减弱。l上面两者是有矛盾的，然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。l第5章着重讨论对离散信源进行无失真信源编码的要求、方法及理论极限，得出极为重要的极限定理——香农第一定理。幻灯片45.1编码器l编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。l图5.1就是一个编码器，它的输入是信源符号集S={s1,s2,…,sq}。同时存在另一符号集X={x1,x2,…,xr}，一般元素xj是适合信道传输的，称为码符号（或称为码元）。编码

3、器是将信源符号集中的符号si（或者长为N的信源符号序列ai）变换成由xj（j=1,2,…,r）组成的长度为li的一一对应序列。幻灯片5lS：{s1,s2,…sq}lC：{w1,w2,…wq}编码器l（wi是由li个xj（xj属于X））组成的序列，并于si一一对应lX：{x1,x2,…xr}l这种码符号序列Wi称为码字。长度li称为码字长度或简称码长。所有这些码字的集合C称为码。l编码就是从信源符号到码符号的一种映射，若要实现无失真编码，必须这种映射是一一对应的、可逆的。幻灯片6一些码的定义l二元码：若码符号集为X={0,1}，所得码字都是一些

4、二元序列，则称为二元码。l若将信源通过一个二元信道进行传输，为使信源适合信道传输，就必须把信源符号变换成0,1符号组成的码符号序列（二元序列），这种编码所得的码为二元码。二元码是数字通信和计算机系统中最常用的一种码。l等长码（或称固定长度码）l若一组码中所有码字的码长都相同，即li=l（i=1,2,…,q），则称为等长码。幻灯片7l变长码l若一组码中所有码字的码长各不相同，即任意码字由不同长度li的码符号序列组成，则称为变长码。l非奇异码l若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列si≠sjlwi≠wj，si,sj∈S，

5、wi,wj∈C，则称码C为非奇异码。l奇异码l若一组码中有相同的码字，即si≠sjlwi=wj，si,sj∈S，wi,wj∈C，，则称码C为奇异码。幻灯片8l同价码l若码符号集：{x1x2…xr}中每个码符号xi所占的传输时间都相同，则所得的码C为同价码。一般二元码都是同价码。对同价码来说，等长码中每个码字的传输时间都相同；而变长码中每个码字的传输时间就不一定相同。电报中常用的莫尔斯码是非同价码。l码的N次扩展码l假定某码C，它把信源S中的符号si一一变换成码C中的码字wi，则码C的N次扩展码是所有N个码字组成的码字序列的集合。幻灯片9l唯一

6、可译码l若码的任意一串有限长的码符号序列只能被惟一的译成所对应的信源符号序列，则此码称为唯一可译码，或单义可译码。l若要所编的码是唯一可译码，不但要求编码时不同的信源符号变换成不同的码字，而且还必须要求任意有限长的信源序列所对应的码符号序列各不相同，即要求码的任意有限长N次扩展码都是非奇异码。因为只有任意有限长的信源序列所对应的码符号序列各不相同，才能把该码符号序列唯一地分割成一个个对应的信源符号，从而实现惟一地译码。幻灯片105.2等长码l一般说来，若要实现无失真的编码，这不但要求信源符号si与码字wi是一一对应的，而且要求码符号序列的反变

7、换也是惟一的，所编的码必须是唯一可译码。否则，所编的码不具有惟一可译码性，就会引起译码带来的错误和失真。l若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。等长非奇异码一定是惟一可译码。l若对信源S进行等长编码，就必须满足q≤rl，其中l是等长码的码长，r是码符号集中的码元数。幻灯片11l如果对信源的N次扩展信源进行等长编码，若要求编得的等长码是惟一可译码则必须满足qN≤rl，表明只有当l长的码符号序列数(rl)大于等于N次扩展信源的符号数(qN)时，才可能存在等长非奇异码。l从以上不等式可得L/N≥logq/logr，式中L/

8、N是平均每个信源符号所需要的码符号个数。等长惟一可译码，每个信源符号至少需要用logq/logr个码符号来变换，就是每个信源符号所需最短码长为logq/logr个。