信息与编码复习要点new

《信息与编码复习要点new》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、信息与编码复习要点2011.12信息的定性描述n信息传输的基本要求：有效性可靠性有效性——信息传输的速度。可靠性——信息传输的质量。n信息系统模型：信源信道信宿噪声源n信源编码和解码：有效性，去除冗余n信道编码和解码：可靠性，添加冗余n信息消息信号n信息论香农信息论信息的定量描述n信息量自信息量条件自信息量联合自信息量互信息量n平均信息量——熵离散信源：自熵条件熵联合熵互熵连续信源：自熵条件熵联合熵互熵n互熵的性质：非负性互易性互熵和自熵和条件熵及联合熵关系熵不增性原理n信源的最大熵：离散信源的最大熵连续信源的最大熵：峰值功

2、率受限，平均功率受限[香农定理]若信源的信息速率R小于或等于信道容量C，那么，在理论上总存在一种方法，使信息能够以任意小的差错概率通过该信道传送。当R＞C时，信息在信道中传输，总要有一定误差，疑义度不会比（R－C）更小。（一）概率公式：1.概率乘法公式：p(xy)=p(x)p(y/x)=p(y)p(x/y)当且仅当x,y相互独立时,p(xy)=p(x)p(y)2.全概率公式：3.逆概率公式：（二）信息论公式1.（自）信息量：I(x)=－logp(x)（自）熵：2.条件信息量：I(x/y)=－logp(x/y)条件熵：3.联合信

3、息量：I(xy)=－logp(xy)联合熵(共熵)：4.互信息量：互熵：5.互熵的对称性（互易性）：I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)I(X;Y)H(X/Y)H(Y/X)H(X)H(Y)H(XY)信源编码一.编码是把信源输出的消息变换为便于在信道中传输的信号的过程。它是信息系统中提高有效性和可靠性的关键。二.信源编码是为了提高信息速率，有效地进行信息传输和存贮，对有剩余的消息所进行的去除剩余的编码，也叫有效（性）编码。三.除了在传输和恢复消息时所需要的最少信息外，其余出现在消息、信号和系统中的细节都叫

4、做剩余。剩余减小了信源的熵，降低了有效度，增加了通信的可靠性，提高了抗扰度。剩余=Hm－H(信源最大熵与实际熵之差).剩余度=(Hm－H)/Hm=1－H/Hm.有效度=H/Hm.四.如果一种检验，它的结果只能属于两种状态之一，则叫做二态检验。通常把二态检验的两种状态称为“是”和“否”。五.二态检验定理可表达为：I(平均)=－p(是)logp(是)－p(否)logp(否)≤1，当且仅当p(是)=p(否)=1/2时，上式右端取等号。一次二态检验最多可获得1bit的信息量；一次三态检验最多可获得log3=1.585bit的信息量；一

5、次q态检验最多可获得logqbit的信息量。六.信源编码的效率为：η=H/(logq)，当q=2时，η=H/.其中为平均码长，H为信源的熵，η≤1.七.费诺码编码步骤：①把消息按概率由大到小排序；②把序列分成概率尽可能相等的两组，分别配给符号0和1；③对每一组又同样分成概率尽可能相等的两组，分别续给符号0和1；④重复③，直到每一消息都被分隔出来为止；⑤各消息所得到的二进制序列就是它的代码。费诺码编码方法简单，但编码效率不如哈夫曼码，称为“准最佳码”。八.哈夫曼码编码步骤：①将消息按其概率由大到小排列；②把两个最小概率概括出来分

6、别配给0和1；③将这两个概率相加后再与其他概率比较，重新排序；④重复步骤②和③，直到所有概率都相加完为止；⑤将所配给的符号序列，按照从右到左的顺序作为相应消息的代码。哈夫曼码的编码效率最高，称为“最佳编码”，但编码方法比较复杂。九.香农码编码步骤：①把信源消息的概率由大到小排序；设：p1＞p2＞…＞pm②按下式求累加概率Qi（令p0=0）：③求各消息的信息量Ii=－logpi，再按下式确定码长ni(整数)：－logpi≤ni＜－logpi＋1④将Qi化为二进制数，并取小数点后ni个数码作为消息xi的代码yi.香农码具有很高的理

7、论价值，但编码方法复杂，编码效率不高，实用价值很低。十.匹配编码就是按编码对象出现的概率，分别给予不同长度的代码，概率大的消息代码短，概率小的消息代码长。十一.信源编码定理设信源的熵为H，信道容量为C，则：1.从这一信源在每单位时间内不可能传输比C/H个更多的消息数。2.总存在着能传输小于C/H个消息的编码方法。可用下式等效表达：当K→∞时，(K)/K→H(X)/logq.十二.几种熵的关系联合熵定理：H(XY)≤H(X)＋H(Y)条件熵定理：H(Y/X)≤H(Y)联合熵与条件熵的关系定理：H(XY)=H(X)＋H(Y/X).

8、十三.其他编码方法：变换编码——预测变换，函数变换。识别编码——关联识别，逻辑识别。信道编码一.噪声是指信息系统中导致有用信号失真的有害因素。噪声可分为乘性噪声和加性噪声。有扰信道的转移概率p(yj/xi)表示当发送xi时收到的是yj的概率。二元信道的平均错误概率为：二.信道