信息论基础54360new

ID:34662412

大小:152.90 KB

页数:10页

时间:2019-03-08

信息论基础54360new_第1页
信息论基础54360new_第2页
信息论基础54360new_第3页
信息论基础54360new_第4页
信息论基础54360new_第5页
资源描述:

《信息论基础54360new》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第四章信源编码•信源编码和信道编码•序列信息论基础•本章的内容:–序列的传输–定长信源编码西安交通大学电信学院信通系–变长编码,最佳变长编码定理及编码方法邓科西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输L()•设一离散信源发出数符序列u=u,u,",u,其•序列发生的概率等于序列各符号发生的概率之积12L中ul∈{a1,a2,…,aK},考察发出序列UL的概率I(uL)=log1L()p(u)pu,u,",u12L1=p(u)p(u,",u

2、u)=log12L1p()

3、u"u"u1lL=p(u1)p(u2

4、u1)p(u3,",uL

5、u1u2)无记忆1=logp(u)p(u)…p(u)=p(u)p(u

6、u)"p(u

7、u"u)12L121L1L−1111=log+log+"+log根据无记忆特性p(u1)p(u2)p(uL)无记忆L=I(u1)+I(u2)+"+I(uL)p(uL)=p()u"u"u=p(u)p(u)…p(u)=∏p(u)序列的信息量等于序列各1lL12LlLl=1=∑I(ul)符号携带的信息量之和l=1西安交通大学信通系西安交通大学信通系第四章信源

8、编码第四章信源编码4.1序列传输4.1序列传输=H(U)+H(U)+"+H(U)•熵(定义在序列集合上)12LLH(UL)=−∑p(uL)logp(uL)=∑H(Ul)l=1LLu∈U=LH(U)L1=∑∏[(pul)]logLL长序列的熵等于一个符号熵的L倍uU∈Ll=1∏pu()ll=1注意符号和小写,大写L111=+∑∏[pu()][logllog+"+log]uU∈Ll=1pu()12pu()pu()L1=∑∑pu()log12[""∑pu()pu()]Luu12pu()1uL1+∑∑pu

9、()log21[∑""∑pupu()()()]3puLuu21pu()2u3uL1++""∑∑pu()lLLog[∑pu()()11"pu−]uupu()LuLL11−西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输•回忆:有条件的信息熵不超过无条件的信息熵•序列的传输,信道的输入是N,长度为N的序XI(X;Y)=H(X)-H(X

10、Y)≥0⇒H(X)≥H(X

11、Y)列;信道是个无记忆时不变的信道;经过传输N后,输出为Y,仍为长度为N的序列。•有记忆时序列的

12、信息量NNLX=(x1,x2,…,xN),xi∈{a1,a2,…,aK}KI(u)=I(u)+I(u

13、u)+"+I(u

14、u"u)121L1L−1YN=(y,y,…,y),y∈{b,b,…,b}N•求平均,得到熵12Ni12JJNNH(UL)=H(U)+H(U

15、U)+"+H(U

16、U"U)可将这种情况等效为K个输入,J个输出的信道121L1L−1∵H(U

17、U)≤H(U)""H(U

18、U"U)≤H(U)使用一次212L1L−1L∴有记忆时的信息熵小于无记忆时的信息熵•例4.1.1:二元对称信道BSC用二次

19、,即K=J=2,N=2•有记忆就表示有冗余总的来看输入和输出序列均为00,01,10,11共四个。相当于一个四进制数符传过信道西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输NNNN1•它的转移概率必然为p(00

20、00),…,p(11

21、11)共16个。H(X

22、Y)=∑p(x,y)logNN来看看这两种信道的等价关系xN,yNp(x

23、y)1122="=∑p(x1,y1)log+"+∑p(xN,yN)logp(y=2

24、x=3)四元信道x1,y1p(x1

25、y1

26、)xN,yNp(xN

27、yN)=p(y2=10

28、x2=11)二元信道使用两次=H(X1

29、Y1)+"+H(XN

30、YN)=NH(X

31、Y)=p(y=1

32、x=1)p(y=0

33、x=1)1122那么NNNNN一般地P(yNxN)=∏P()yxI(X;Y)=H(X)−H(X

34、Y)nnn=NH(X)−NH(X

35、Y)NN现在考虑序列的互信息熵,先看条件熵H(X

36、Y)=N[H(X)−H(X

37、Y)]=NI(X;Y)西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输•总结序列的概率、信息和互信息

38、熵和符号的概率、信息和•假设信道理想,讨论信源编码,两个角度出发考互信息熵之间的关系虑:N(N)()N•对于输入X,Px=∏PxkH(X)=NH()X–为使理想信道达信道容量,输入尽可能等概——要求k信源编码输出有等概或尽量接近等概•对于输出N,(N)()NYPy=∏PyjH(Y)=NH(Y)–信源编码追求目标是快速、高效——要求信源编码输l出尽可能短•对于信道的特性,NN(NN)()H(YX)=NH()YXPyx=∏Pynxnn•对于信道传输的互信息量,(NN)()IX;Y=NI

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
正文描述:

《信息论基础54360new》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第四章信源编码•信源编码和信道编码•序列信息论基础•本章的内容:–序列的传输–定长信源编码西安交通大学电信学院信通系–变长编码,最佳变长编码定理及编码方法邓科西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输L()•设一离散信源发出数符序列u=u,u,",u,其•序列发生的概率等于序列各符号发生的概率之积12L中ul∈{a1,a2,…,aK},考察发出序列UL的概率I(uL)=log1L()p(u)pu,u,",u12L1=p(u)p(u,",u

2、u)=log12L1p()

3、u"u"u1lL=p(u1)p(u2

4、u1)p(u3,",uL

5、u1u2)无记忆1=logp(u)p(u)…p(u)=p(u)p(u

6、u)"p(u

7、u"u)12L121L1L−1111=log+log+"+log根据无记忆特性p(u1)p(u2)p(uL)无记忆L=I(u1)+I(u2)+"+I(uL)p(uL)=p()u"u"u=p(u)p(u)…p(u)=∏p(u)序列的信息量等于序列各1lL12LlLl=1=∑I(ul)符号携带的信息量之和l=1西安交通大学信通系西安交通大学信通系第四章信源

8、编码第四章信源编码4.1序列传输4.1序列传输=H(U)+H(U)+"+H(U)•熵(定义在序列集合上)12LLH(UL)=−∑p(uL)logp(uL)=∑H(Ul)l=1LLu∈U=LH(U)L1=∑∏[(pul)]logLL长序列的熵等于一个符号熵的L倍uU∈Ll=1∏pu()ll=1注意符号和小写,大写L111=+∑∏[pu()][logllog+"+log]uU∈Ll=1pu()12pu()pu()L1=∑∑pu()log12[""∑pu()pu()]Luu12pu()1uL1+∑∑pu

9、()log21[∑""∑pupu()()()]3puLuu21pu()2u3uL1++""∑∑pu()lLLog[∑pu()()11"pu−]uupu()LuLL11−西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输•回忆:有条件的信息熵不超过无条件的信息熵•序列的传输,信道的输入是N,长度为N的序XI(X;Y)=H(X)-H(X

10、Y)≥0⇒H(X)≥H(X

11、Y)列;信道是个无记忆时不变的信道;经过传输N后,输出为Y,仍为长度为N的序列。•有记忆时序列的

12、信息量NNLX=(x1,x2,…,xN),xi∈{a1,a2,…,aK}KI(u)=I(u)+I(u

13、u)+"+I(u

14、u"u)121L1L−1YN=(y,y,…,y),y∈{b,b,…,b}N•求平均,得到熵12Ni12JJNNH(UL)=H(U)+H(U

15、U)+"+H(U

16、U"U)可将这种情况等效为K个输入,J个输出的信道121L1L−1∵H(U

17、U)≤H(U)""H(U

18、U"U)≤H(U)使用一次212L1L−1L∴有记忆时的信息熵小于无记忆时的信息熵•例4.1.1:二元对称信道BSC用二次

19、,即K=J=2,N=2•有记忆就表示有冗余总的来看输入和输出序列均为00,01,10,11共四个。相当于一个四进制数符传过信道西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输4.1序列传输NNNN1•它的转移概率必然为p(00

20、00),…,p(11

21、11)共16个。H(X

22、Y)=∑p(x,y)logNN来看看这两种信道的等价关系xN,yNp(x

23、y)1122="=∑p(x1,y1)log+"+∑p(xN,yN)logp(y=2

24、x=3)四元信道x1,y1p(x1

25、y1

26、)xN,yNp(xN

27、yN)=p(y2=10

28、x2=11)二元信道使用两次=H(X1

29、Y1)+"+H(XN

30、YN)=NH(X

31、Y)=p(y=1

32、x=1)p(y=0

33、x=1)1122那么NNNNN一般地P(yNxN)=∏P()yxI(X;Y)=H(X)−H(X

34、Y)nnn=NH(X)−NH(X

35、Y)NN现在考虑序列的互信息熵,先看条件熵H(X

36、Y)=N[H(X)−H(X

37、Y)]=NI(X;Y)西安交通大学信通系西安交通大学信通系第四章信源编码第四章信源编码4.1序列传输•总结序列的概率、信息和互信息

38、熵和符号的概率、信息和•假设信道理想,讨论信源编码,两个角度出发考互信息熵之间的关系虑:N(N)()N•对于输入X,Px=∏PxkH(X)=NH()X–为使理想信道达信道容量,输入尽可能等概——要求k信源编码输出有等概或尽量接近等概•对于输出N,(N)()NYPy=∏PyjH(Y)=NH(Y)–信源编码追求目标是快速、高效——要求信源编码输l出尽可能短•对于信道的特性,NN(NN)()H(YX)=NH()YXPyx=∏Pynxnn•对于信道传输的互信息量,(NN)()IX;Y=NI

显示全部收起
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
关闭