信息论与编码复习提纲

《信息论与编码复习提纲》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、信息论与编码复习提纲一、通信系统的基本模型（框图）1．信源2。编码器3。信道4。译码器5。信宿二、离散信源及信息测度1．信源的分类2．基本信源的数学模型：离散信源连续信源3．离散信源的信息熵：自信息信息熵信息熵的物理含义（H(x)：信源输出前，信源的平均不确定性；信源输出后，每个消息、符号所提供的平均信息量；反映了随机变量X的随机性。4．信息熵的基本性质对称性确定性非负性可加性递增性极值性5．离散无记忆扩展信源的信息熵数学模型信息熵6．信源的剩余度三、离散信道及信道容量1．信道的分类2．离散无记忆信道的数学模型二元对称信道无噪无损信道无噪有损信道有噪无损信道3．

2、离散无记忆信道的平均互信息及特性：信道的疑义度噪声熵平均互信息量平均互信息量的特性（非负性极值性对称性凸状性不增性）4．离散无记忆信道容量的定义及计算特殊信道容量的计算：离散二元对称信道，无噪无损信道，无噪有损信道，有噪无损信道无记忆N次扩展信道的容量信道的剩余度=四、Shnnon三大定理1．Shnnon第一定理2．Shnnon第二定理3．Shnnon第三定理4．信息率失真函数5．波形信道的信道容量限带高斯白噪声加性信道五、无失真信源编码1．信源编码的定义2．码的分类：等长码、变长码；多元码、二元码；即时码（最佳码）、延长码3．码树4．唯一可译码存在的充要条件满

3、足Kraft不等式1．无失真变长信源编码定理离散无记忆信源（Shnnon第一定理）2．无失真信源编码和数据压缩无失真数据压缩的极限值，编码后的信源信息率，码率，编码效率3．常用的编码方法Huffman编码LZ编码Shnnon编码二、有噪信道编码1．译码准则最大似然译码准则最小距离译码准则2．信道编、译码基本准则编码准则：在n次扩展信道输入符号中选取M个码字组成一组码书C，应尽量使选取的M个码字中任意两两不同码字的汉明距离尽量可能地大。译码原则：采用最大似然译码准则，即收到，译成与之汉明距离为最近的那个码字。3．有噪信道编码定理：有噪信道容量为C，若信息传输率为R

4、C，则不存在信源和信道编码，使无失真的传输信源信息。5．纠错码的分类：按纠错的工作方式分（前向纠错、重传纠错、混合纠错）；按码的数学结构中信息元与校验元的关系分（线性码、非线性码）；按码的结构中信息序列的处理方式可分（分组码、卷积码）；按纠错类型分（纠随机错误码，纠突发错误码）；按码元的取值分（二元码、多元码）；6．线性分组码●基本概念：码字、信

5、息元、校验元；许用码字、禁用码字；汉明重量、最小距离；错误图样，纠错能力；码率；●线性分组码的特性：封闭型2K个码字可由其中一组码字组合而成。2K码字完全由其中一组k个独立的码字组合而成；●系统码：C=MG；系统码的生成矩阵G的特点●一致校验矩阵H；G=HT●伴随式S=RHT；●错误图样E；错误图样与伴随式一一对应●线性分组码的编、译码方法●汉明码纠1位随机错误的线性分组码；特点：高码率、完备码。码长n=2m-1；信息元k=2m-m-1；校验元r=n-k；码率R=k/ndmin=37．循环码●生成多项式g(x)生成矩阵G●系统码循环码编码●循环码的译码（1位出错

6、）8．BCH码特点：可根据纠错能力来构造的线性分组码●码长n≤2m-1●监督位n-k≤mt●dmin≥2t+19．卷积码●码长●信息位●编码约束长度●卷积码的译码算法VB算法，最小距离译码。10．纠突发错误的分组码●交织码定义，纠错能力●RS码的定义，纠错能力一、保真度准则下的信源译码1．失真函数D2．平均失真度3．信息率失真函数R(D)●R(D)定义●R(D)的特性：R(D)≤H(X)D=Dmin；R(D)=0D=Dmax。下凸性。连续性。单调递减性（了解）。●SHANNON第三定理：离散信源的率失真函数为R(D)，在允许失真度D确定后，若R’≥R(D)则码长

7、n足够长，一定存在一种信源编码，码字个数为M=2nR’，而码的平均失真度小于或无限接近于允许失真D。