资源描述：
《信息论讲义-第五章(12讲)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第12讲北京航空航天大学201教研室陈杰第四章小结sr信道疑义度H(XY
2、)(=∑∑pabij)logpab(i
3、j)⎧ji==111.基本概念rssrr噪声熵HHH(((YXYXYX
4、
5、
6、)()()(===⋅∑∑∑∑∑papaHpppab)(ij)pba)lo(g
7、pba12()lo,jg
8、pba,)i?)(p
9、)⎨ijiiijiisiji==11⎩ij==11i=1defdef平均互信息量IXY(;)=−=−HXHXYHYHYX()()()()def定义CI=max{}(;)XY⎧px()2.信道容
10、量离散无噪信道⎨特殊信道的⎧信道容量⎨⎩⎩离散对称信道2第四章示例BSC信道的平均互信息3第五章无失真信源编码内容提要5.1编码器5.2分组码5.3定长编码5.4变长编码5.5变长编码方法—香农(Shannon)编码—霍夫曼(Huffman)编码—费诺(Fano)编码45.1编码器•无失真信源编码将信源产生的全部信息无损地送给信宿，这种信源编码称无失真信源编码。•数学模型：SCSsss=(,,,)?CWWW=(,,,)12?q12qXX=(,,,)xx?x12q65.1编码器⒈编码器构成：•输入：信源符号集S=(s,s,…s)
11、，由q个符号组成12q码符号集X=(x,x…x)，由r个符号组成12r•输出：代码组C=(W,W,…W)，由q个码字组成12qW=(x,x,…x)称为码字，l称为码字长度il1l2lii75.1编码器⒉编码器的作用：将信源符号集S中的符号s，i=1,2…,qi→变换成由码符号集X中的码元x，j=1,2…,rj组成的长度为l的一一对应的码字i•码字W=(x,x,…x)的集合称为代码组C。il1l2li85.1编码器⒊码分类：•固定长度码：（定长码）代码组C中所有码字的长度相同。•可变长度码：（变长码）代码组C中码字的长度不相同。
12、95.1编码器⒋码奇异性：•非奇异码：代码组C中所有码字都不相同。•奇异码：代码组C中有相同的码字。105.1编码器⒌N次扩展码：Ssss=(,,,)?CWi=(,1=,2,,)?q12qiNNNNNNSiq=={αi,1,2,,?}Cw=={i,1i,2,,?q}*(+(N,*(+(N,α=sss?VW=WW?11111111α=sss?VW=WW?21122112@@@@@@@@αqN=sqqss?qVWqN=qqWW?q代码组C的N次扩展码CN构成N次扩展信源的代码组。115.2分组码1.定义：信源符号集S中的每一个符号
13、s都映射成一i个固定的码字w，这种码称为分组码i2.性质：—奇异性—唯一可译性—即时码125.2分组码⒉性质：(1)奇异性：•非奇异码：若分组码中所有码字都不相同。•奇异码：若分组码中有相同的码字。*非奇异分组码是正确译码的必要条件。(2)唯一可译性：•唯一可译码：如果一个分组码对于任意有限的整数N，其N次扩展码均为非奇异码.*唯一可译码是正确译码的充要条件135.2分组码(3)即时码：•定义：无需考虑后续的码符号，即可以从码符号序列中译出码字，这样的唯一可译码为即时码•码前缀：设W=x,x,…x为一个码字，对于任意的il1l
14、2li1≤j≤l，称码字W的前j个元素x,x,…,x为ii1i2ij码字W的前缀i145.2分组码(3)即时码：•即时码存在充要条件：唯一可译码成为即时码的充要条件是其中任意一个码字不是其他码字的前缀155.2分组码3.即时码的树图构造法：•整树的概念：若树图中每个中间节点及树根都产生个树枝，称为整数，否则为非整树树根165.3定长码一﹑唯一可译定长码1.简单信源信源存在唯一可译定长码的条件为：lq≤r其中，q是信源符号个数；r是码符号集中码符号个数；l是简单信源S定长编码的码长。logqlogq•释：l≥表明唯一可译定长码的
15、最短码长为logrlogr175.3定长码2.S的N次扩展信源N次扩展信源SN存在唯一可译定义码的条件为：qrNL≤其中，qN是扩展信源符号个数L是扩展信源SN定长编码的码长•释：Llogqlogq≥LN≥NrloglogrL注意和l分别的意义N185.3定长码二﹑定长信源编码定理1.引理：设离散无记忆信源⎡ss12?sq⎤[]SP=⎢⎥ps()()ps?ps()⎣12q⎦的熵为H(S)，其N次扩展信源SN为⎡αα12?αN⎤Nq⎡⎤SP=⎢⎥⎣⎦⎢⎣pp()()αα12?p()αN⎥⎦q195.3定长码用码符号集X=(x,x
16、,…x)对SN进行长度为L12r的等长编码，则对于∀ε>0,δ>0,只要满足DIs[()]ip≤LE2logrHS≥+()εNεN当足够大时，必可使译码错误小于δ−NεLpE≥−12反之，若logrHS≤()2−εN则当N足够大时，译码错误概率趋于1205.3定长码2.定理：
