信息论基础第2章new

《信息论基础第2章new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论与技术教研中心ITTC信无失真信源与息论基信息熵基础讲义贺志强第二章无失真信源与信息熵信息论基讲授思路1）按照“概念、描述、度量、分析、计算”10字方针逐步深入础。讲2）讲授步骤按照义离散单个消息→离散消息序列↓↑离散化(纵向)连续单个消息→连续消息序列贺志强↑离散化(横向)连续消息过程(模拟)重点熵H(U)—无失真单消息信源的度量值；概念、分析、度量与计算互信息I(U;V)—单消息信宿的度量值；概念、分析、度量与计算2§2-1信源特性与分类信息（一）信源的统计特性论基1）什么是信源？础讲信源是信息的来源，实

2、际通信中常见的信源有：语音、文字、图义像、数据…。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量U，随机序列U和随机过程U(t,ω)的源。贺志强2）信源的主要特性信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。3（二）信的描信源的描述与分类类信息论基1）单消息（符号）信源：它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围础U和对应概率分布P(u)共同组成的二元序对[U,P(u)]来表示。讲义对离散信源UUu

3、1UuiUunPp1pipn贺志强例：对于二进制数据、数字信源：U={0,1}，则有1当pp010,1Uuu01010,1211Ppp01,,224（二）信源的描述与分类（续）信Ua,b息对于连续变量信源论基Ppu1础其中：uUR0,pu为连续变量的概率密度u讲2）实际信源义实际信源在离散情况下是消息序列信源，在连续情况下是随机过程信源，它们分别代表数字与模拟信源。贺①

4、离散序列信源UUUUUii12iliL志强i=1,2,…n简记UUUU12lL其中，i=1,2,…n为每个消息（符号）取值的种类数l=1,2,…Ll=1,2,…L为消息（符号）序列的长度应注意的是i和l是代表两个不同范畴的变量，表示不同的概念，切勿混淆。52）实际信源（续）信信源输出是一组随机序列（矢量）：息L论基UUUUUL维取值范围1lL础其样值为：uLu1uluL讲对应概率为：puLpu1uluL义L由于每个随机变量U={1,2,…n}有n种取

5、值，则U有n种可能取值。L贺对消息序列信源有：志强ULUu1UunLpup(u1)p(unL)62）实际信源（续）信息例：最简单L=3的三位PCM信源：这时L=3,n=2,即i={0,1}，则有：论基3当p0p11时UU000,U001,,U1112000,001,010,,111础p(u)p3,p2p,p31,1,1,,1p(u)p0,p0p1,p18,8,8,,8讲义ⅰ）离散无记忆信源无记忆L平稳

6、L贺pupu1uluLp(ul)p(等概率，同分布)l1志强ⅱ）离散有记忆信源大部分实际信源属于这类，尤其当L足够大时，72）实际信源（续）信p(u)p(u)P(u2)P(u3)P(uL)p(u)P(u2)P(u3)P(uLL1)1u1u2u1uL1u11u1u2u息11论基马氏链L1p(u)P(u2)P(u3)P(uL)p(u)P(ul1)1u1u2uL11ul础l1齐次讲L1LpPP1jiji义这里需要进一步解释有两点：贺首先，我们称仅对转移概率平稳的为齐次

7、；志强其次，当齐次马氏链满足不可约、非周期性条件时，称为遍历，它与起始条件分布无关。在实际信源中，数字图像信源往往采用马氏链模型。82）实际信源（续）信②连续信源息在实际的连续信源中，可以采用两种方法进行分析论基一类是将连续信源离散化随机序列信源础另一类是仍然采用随机过程来分析讲下面，首先要回答什么样的信源可以进行离散化处理？义实际上，只要满足一个非常宽松的条件，即满足限时(T)、限频(F)的连续消息信源，即满足物理可实现条件下，均可离散化为随机序列。贺志强类似于在信号分析中对周期性确知信号的正交展开，这里也可以类似

8、的对非确知连续随机信号在满足限时(T)、限频(F)条件下展开成类似的离散随机序列信号。92）实际信源（续）信j2ntU(t)ceT息nn确知信号论基T12j2ntcU(t)eTnTT础2讲(a.e.)义j2ntU(t,)c()eTnn随机信号(a.e.)T12j2ntc()