资源描述：
《信息论与编码2011-总复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2021/6/121要记住：历史上所有伟大的成就，都是由于战胜了看来是不可能的事情而取得的。－卓别林2021/6/122课程类型：专业选修课学时：54教材：《信息论与编码基础》,唐朝京,雷菁，电子工业出版社，2010.2参考教材：①<<信息论基础>>（ElementsofInformationTheory,英文影印）,ThomasM.Cover,JoyA.Thomas,清华大学出版社，2003②《<<信息论与编码理论>>(TheTheoryofInformationandCoding,英文影印版)(第
2、2版),RobertJ.McEliece,电子工业出版社,2005.3考核：平时成绩40％（作业、考勤、期中测验）期末考试60％（闭卷）作业：20％（百分制：缺一次扣20分）考勤：10％（百分制：缺席一次扣10分）期中测验：10％（百分制：实际分数）2021/6/123信息与消息和信号的区别消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。第一章概论2021/6/124信息“本体
3、论”层次定义：信息是该事物运动的状态和状态改变的方式。认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。语法信息：事物运动状态和状态改变的方式；语义信息：事物运动状态和方式的具体含义；语用信息：事物运动状态和方式及其含义对观察者的效用。研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。第一章概论2021/6/125单符号离散信源自信息量用概率测度定义信息量设离散信
4、源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量第二章信源熵2021/6/126联合自信息量当X和Y相互独立时，p(xiyj)=p(xi)p(yj)第二章信源熵2021/6/127条件自信息量：已知yj的条件下xi仍然存在的不确定度。自信息量、条件自信息量和联合自信息量之间的关系第二章信源熵2021/6/128互信息量：yj对xi的互信息量定义为的后验概率与先验概率比值的对数
5、。第二章信源熵2021/6/129观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。观察者站在输入端：观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。观察者站在通信系统总体立场上：通信后的互信息量，等于前后不确定度的差。第二章信源熵2021/6/1210平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对
6、于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信源熵的三种物理含义信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；信源熵H(X)是表示信源输出前，信源的平均不确定性；用信源熵H(X)来表征变量X的随机性。第二章信源熵2021/6/1211条件熵：是在联合符号集合XY上的条件自信息的数学期望。第二章信源熵2021/6/1212信道疑义度—H(X/Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。噪声熵—
7、H(Y/X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。第二章信源熵2021/6/1213联合熵H(XY)：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。第二章信源熵2021/6/1214最大离散熵定理(极值性)：离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=lo
8、g2n出现任何符号的可能性相等时，不确定性最大。第二章信源熵2021/6/1215二进制信源的熵函数H(p)为第二章信源熵2021/6/1216平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。第二章信源熵2021/6/1217站在输出端：I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。站在输入端：I(
