信息论 连续信源和波形信道new

《信息论 连续信源和波形信道new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、回顾信源的分类离散信源：输出消息数为有限或可数的，每次只输出一个消息随机变量X分层（量化）描述信源连续信源：输出消息数不可数，每次只输出一个消息输出的消息第八章连续信源和波形信道非平稳信源：描述信源输出消息的随机序列是非平稳随机序列——马尔可夫信源（记忆长度有限）随机序列X平稳信源：描述信源输出消息的随机序列X是平稳的随机序列取离散无记忆信源的N离散平稳信源：输出随机样次扩展：X中各随机序列X中每个随机变量Xi定变量统计独立，且取取值离散，且各维概率分理自同一概率空间2009-12-22布不随时间而改变。有限记忆信源：X中随机过程{x(t)}:连续平稳信源：输出随

2、机各随机变量之间有依随机波形信源，序列X中每个随机变量Xi赖关系，但记忆长度信源输出消息是取值连续，且各维概率密有限时间和取值都连度函数不随时间而改变。2续的函数回顾信道的分类主要内容Æ按输入/输出信号的幅度和时间特性划分：数学模型数学模型幅度时间信道分类名称熵的求解熵的求解Æ连续信源和波形信源微分熵微分熵//差熵差熵离散离散离散信道（数字信道），对讨论纠错编码时有用最大差熵定理最大差熵定理连续离散连续信道Æ连续信道和波形信道连续连续模拟信道（波形信道），是实际信道，有重要意义！离散连续（理论和实用价值均很小）341.1数学模型1.1连续信源的概率密度函数¢连续信

3、源的数学模型ppx=()Δii⎡⎤()ab,⎡R(,)−∞+∞⎤XX::⎢⎥⎢⎥⎣⎦px()⎣px()⎦b+∞∫p(x)dx=1pxdx()=1a∫−∞Æ连续随机变量X的取值分割成n个等宽区间，Δ=(b-a)/n。则a+iΔP(a+(i−1)Δ≤X≤a+iΔ)=p(x)dx=p(x)Δ∫ia+(i−1)ΔÆ其中xi是a+(i-1)Δ到a+iΔ之间的某一值。当p(x)是X的连续函数时，由中值定理可知，必存在一个xi值使上式成立。5611.2连续信源的信息熵1.2连续信源的信息熵–微分熵/差熵ΔΔ→0¢信息熵：X⎯⎯→⎯XX⎯⎯→nnnnHX()=lim{−Δ−Δ∑∑

4、px()log()iiipxpx()log}ΔΔ→0H(X)=−∑plogpii==11niinni=1bn∑p(xi)Δ=∑pi=∫p(x)dx=1=−∑p(x)Δlog[p(x)Δ]i=1i=1aiii=1nnb=−∑∑px()log()iiiΔpx−px()logΔΔ=−∫ap(x)logp(x)dx−limlogΔΔ→0ii==11Δ→0,nX→∞,则→Xn微分熵：h(X)无限大常数项HX()lim()=HXn又称为差熵Δ→0nn=−lim{∑∑px()log()iiiΔpx−px()log}ΔΔΔ→0ii==11781.2差熵–两个连续随机变量的熵1.2

5、差熵–波形信源的差熵¢两个连续随机变量的联合熵：¾平稳随机过程可通过时间取样分解为取值连续的无穷平稳随机序列→X=XXKXhXY()=−∫∫pxy()log()pxydxdy12N→→→→2条件熵：Rh(X)=h(X1X2KXN)=−∫p(X)logXdXRhYX(

6、)=−∫∫pxy()log(

7、)pyxdxdy¾平稳随机过程{x(t)}的差熵为：Δ→h(x(t))=limh(X)2RN→∞hXY(

8、)=−∫∫pxy()log(

9、)pxydxdy¾对于限时T，限频F的随机过程，可用N=2FT的有限2R相互关系：维随机矢量表示→hXY()(

10、)()(

11、)()=+hY

12、XhX=+hXYhYh(X)=h(X1X2KXN)hYX(

13、)()≤hY=h(X1)+h(X2

14、X1)+h(X3

15、X1X2)+...+h(XN

16、X1X2...XN−1)hXY(

17、)()≤hX9101.2连续信源的微分熵/差熵–例题1.2连续信源的微分熵/差熵–例题例8.1求均匀分布的随机变量的微分熵：例8.2求高斯分布的连续信源的微分熵：21()xm−⎧⎪xab∈[,]1−2px()=e2σX:(,)−∞∞px()=⎨ba−2⎪2πσ⎩0elsewise2(x−m)−解：bb11p(x)=1e2σ2hX()=−∫px()log()pxdx=−∫logdx2πσ2a

18、ab−ab−a∞=log(b−a)m是X的均值m=E[X]=∫−∞xp(x)dx∞ba−=1()0hX=2222σ是X的方差σ=E[(X−m)]=∫(x−m)p(x)dx−∞ba−<1()0hX<微分熵无非负性，可为负值2∞2m=0时，σ是随机变量的平均功率P=∫xp(x)dx−∞ba−>1()0hX>11则：随机变量X代表的信源称为高斯分布的连续信源。1221.2连续信源的微分熵/差熵–例题1.2高斯分布随机变量的微分熵分析2()xm−1−2解：px()=−e2σX:(,)∞∞22πσ¢高斯分布的微分熵与方差有关，与均值无关hX()=−∫p()logxp()xd

19、x()xm