-03熵编码.ppt

《-03熵编码.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、压缩编码的几种常用方法----熵编码：一、概率口袋中有红白二种球，并且数目相等，取5次，得红球2次---------2/5取10次，得红球6次---------6/10取20次，得红球10次---------10/20取n次，得红球m次---------得红球的概率为得红球的比率为压缩编码的几种常用方法----熵编码：一、概率概率通常是指某一事件发生的相对频数。设信息源中有k个符号{a1,a2,...ak}从这组符号中任取n次符号，而在这n次选取的符号里，取得ai的次数为m，则当n很大时，比率m/n就称为取出

2、符号ai概率。用P(ai)表示，即压缩编码的几种常用方法----熵编码：一、概率事件的概率总是正数，并总是处在0与l之间，即o＜P(ai)＜1。如果P(ai)＝0，说明是不可能事件;如果P(ai)＝1，则说明是必然事件。压缩编码的几种常用方法----熵编码：二、信息量所谓信息量，实际是对消息中所含信息多少的一种度量。消息中所含信息量的大小与消息发生的概率有密切关系。一件事发生的概率越小，越使人感到意外和惊奇，此消息所含的信息量就越大；若消息出现的概率P(ai)→0，其消息的信息量就趋于无穷大。当消息发生的概率

3、P(ai)→l时，则说明是一个必然事件，其所含的信息量为零。压缩编码的几种常用方法----熵编码：二、信息量在信息论中，消息所含的信息量I由下式表示单位为比特。由该式可看出：当消息发生的概率P＝1/2时，消息所含的信息量I=l比特；当P＝1/4时，I＝2比特。若要传送8个等概率出现的消息之一,即P＝1/8，I＝3,至少需要三位二进制。这样，所传输消息的信息量就与传送所需要的最少二进制位数建立了一一对应关系。压缩编码的几种常用方法----熵编码：三、熵的概念设有2个编号为“1”的小球，编号为“1”的小球占总数6

4、个球的1/3；有3个编号为“2”的小球，编号为“2”的小球占总数6个球的1/2；有1个编号为“3”的小球，编号为“3”的小球占总数6个球的1/6。求编号平均值方法一：求编号平均值方法二：压缩编码的几种常用方法----熵编码：三、熵的概念信源的平均信息量称之为熵。设有n个信号电平a1,a2...an，其对应的概率分别为Pl，P2，…Pn，信号所携带的信息量分别是log(1/P1),log(1/P2)...,log(1/Pn)比特，则熵便可由下式求出:压缩编码的几种常用方法----熵编码：三、熵的概念即：压缩编码

5、的几种常用方法----熵编码：三、熵的概念图像信源编码中：信源的熵是压缩编码的一个理论极限，它表示无失真编码所需的比特率的下限。比特率是编码表示一个像素所需的平均比特数。编码输出的平均码长要≥信源熵。信源压缩编码的目的之一，是使平均码长尽可能的接近信源的熵。压缩编码的几种常用方法----熵编码：四、平均码字长度码字长度：m1,m2………mi出现概率：p1,p2………pi平均码字长度：压缩编码的几种常用方法----熵编码：五、编码效率由此，还可求出多余度值为：压缩编码的几种常用方法----熵编码：六、变字长编码

6、：1.可变字长编码的基本原则出现概率高的信息符号用较少位数的码字(短码)，出现概率低的信息符号用较多位数的码字(长码)。主要例子有霍夫曼编码等。2.哈夫曼编码平均码长：m=20.25+20.25+20.20+30.15+40.10+40.05=2.45bit/符号熵：bit/符号编码效率：信源符号出现概率码一码二码三码四码五a1a2a3a40.5000.2500.1250.12500110010011010110111001011011100011011码一不是单一：a1与a2码二不是单一：a1a

7、1与a3a2a2与a4相同码四不是前缀码：均以0开头码五是定长码码三是前缀码：例如　０１１１１００惟一解码为０１１１１００即a1a4a2a13.特点前缀码变字长码必须能从码元系列中单译地解出所含的每一个码字前缀码具有这样的特点：在码表中没有码字与任何一个比它长的码字的前缀（码头）相同信源符号出现概率码一码二码三码四码五a1a2a3a40.5000.2500.1250.12500110010011010110111001011011100011011利用码树的形式可以直观地表示前缀码。根10a1a2a3a411

8、00010110111端点端点端点端点压缩编码的几种常用方法----熵编码：其它特点：编码非唯一编码效率与符号的概率分布有关没有错误保护功能哈夫曼编码表的传输占有一定的比特数压缩编码的几种常用方法----熵编码：七、游程编码：1.将具有相同数值的连续出现的信源符号构成的符号序列用其数值及串的长度表示。如果有一串L个符号具有相同的数值G，则对其进行游程编码后，只需传送数组（G，L）就可替代传送L个符号