信息论编码考点

《信息论编码考点》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言文字图像。信号时消息的物理体现。载有信息的可观测、可传输、可存储及可处理的信号均称为数据。连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源。信源分成离散信源和连续信源。信源又分为无记忆和有记忆信源。无记忆的分为发出单个符号和符号序列的。有记忆的分为符号序列的有记忆信源和符号序列的马尔可夫信源。离散有记忆序列信源：当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。时域采样：频带受限fm的时间连续函数f

2、(t),不失真采样频率fs³2fm，若时间上受限0£t£tB，采样点数为tB¸(1/2fm)＝2fmtB。频域采样：时间受限于tB的频域连续函数，在0～2p的数字频域上要采L点的条件是时域延拓周期LT³tB，若频率受限fm，则采样点数L³tB/T＝tBfs³2fmtB。模拟信号：在幅度时间频率上都是连续的消息。当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。记忆长度为m，称为m阶马尔可夫信源，若条件概率与时间起点无关，则称为齐次马尔可夫信源m阶马尔科夫信源,将该时刻之前出现的m个符号组成的序列定义为状态si：si共有Q=nm种取值可能。条件概率表

3、示p(xj/si)。状态转移概率表示为p(sj/si)。转移概率：转移矩阵每行元素之和均为1。具有概率为p(xi)的符号xi的自信息量为当xi和yj相互独立时，有p(xi,yj)=p(xi)p(yj)，那么就有I(xi,yj)=I(xi)+I(yj)。若两个符号的出现不是独立的p(xi,yj)=p(xi/yj)p(yj)，则有I(xi,yj)=I(xi/yj)+I(yj)。自信息量I(xi)表征信源中各个符号xi的不确定度。信源的平均不确定度叫做信源熵各符号概率相等时，信源熵达到极大值。H（X/yj）=H（X/Y）=H(Y/X)=H（XY）=H（XY）＝H（X）＋H（Y／X）H（XY）

4、＝H（Y）＋H（X／Y）互信息I(X;Y)=H(X)-H(X/Y)=互信息I(xi；yj)表示接收到某消息yj后获得的关于事件xi的信息量。信源X的熵等于接收到的信息量加上损失掉的信息量。条件熵H（Y／X）唯一地确定信道噪声所需要的平均信息量，故又称噪声熵或散布度。I（X;YZ）＝I（X;Y）＋I（X;Z／Y）I(X;YZ)＝I(X;Z)＋I(X;Y/Z)I(YZ;X)＝I(Y;X)＋I(Z;X/Y)消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。数据处理定理：数据处理过程中只会丢失掉一些信息，绝不会创造新的信息，...就是所谓的信息不增性。条

5、件熵小于信源熵：H(X/Y)≤H(X)。当且仅当X和Y相互独立时，p(x/y)＝p(x)，取等号。离散无记忆序列信源熵：离散有记忆序列信源熵：H（X）=H（XL）=H∞(X)=HL(X)=H(XL/X1X2…XL-1)H∞(X)叫极限熵或极限信息量H∞(X)≤…≤H2(X)≤H1(X)≤H0(X)连续信源熵(也叫相对熵)定义为:连续信源联合相对熵连续信源条件相对熵I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X/Y)＝Hc(X)＋Hc(Y)-Hc(XY)＝Hc(Y)-Hc(Y/X)限峰功率的最大相对熵定理：对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。限平均功率最大相对熵定

6、理：对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大相对熵。定义信息效率：冗余度：信道分类：按输入/输出信号在幅度和时间上的取值:离散信道、连续信道、半离散(半连续)信道、波形信道信道中平均每个符号所能传送的信息量定义为信道的信息传输率R：R=I(X;Y)=H(X)-H(X/Y)最大信息量即为信道容量：对称DMC信道的容量：准对称信道的信道容量，输入分布为等概率时其中n是输入符号集的个数，(p1,p2,…pm)为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。（转移矩阵划分）离散序列信道容量连续信

7、道：S为信道输入X时的平均功率值，高斯白噪声加性波形信道单位时间信道容量：Ps为信号平均功率；N0W为高斯白噪声在带宽W内平均功率。均方失真:绝对失真:相对失真:误码失真:...平均失真最小的互信息就称为信息率失真函数R(D)R(D)的物理意义对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值R(D)R（D）函数的定义域R（Dmin）＝R（0）＝H（X）1）R(D)是非负的实数，即R(D)≥0。其定义域为0～Dmax，其值