资源描述：
《信息论第章new》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、Chap1一>给出统一的通信系统物理模型通信与信息系统物理模型通信系统详细原理方框图-15-Chap1二>给出各部分描述与度量1)信源U基本参量取值空间（集合）:UL=U×U×…×U（L维）其中每一个:U={1,2,…n},n种取值信源输出:UL=(U1…Ul…UL)输出样值:uL=(u1…ul…uL)其中uLU={1,2,…,n}对应概率:pUL(uL)=p(u1…ul…uL)①无失真信源描述与度量:描述定义:U=[UL,p(uL)]对于单个离散消息即L=1时可简化为:U=[U,p(u)]无失真信源度量:定义:-15-C
2、hap1①限失真信源描述与度量:描述:先定义失真函数:d(uL,vL)：UL×VL----->d(u,v)：U×V----->则有:U={[UL,p(uL)],[UL×VL,d(uL,vL)]}U={[U,p(u)],[U×V,d(u,v)]}度量:定义一个限失真的信息率失真函数R(D)来代替无失真时的信源熵H(U).为了简化，仅讨论单个消息情况:首先给出信源（宿）的最大允许失真率D,在定义失真为D时，条件转移概率的变化范围PD。最后定义:其中I(U;V)为U,V间的互信息2)信道C描述信道的三要素:信道输入集合:（n维）
3、-15-Chap1且（有限），为单消息取值数。信道输出集合:（n维）且（有限），为单消息取值数。信道转移概率:其中信道描述如下:----->信道-----〉输入输出定义：信道度量：定义信道容量值如下：（这里为了简化，仅定义单消息（n＝1）的信道）3)信宿V它的描述完全类似于信源。其度量，无失真用互信息表示，限失真时用函数表示。-15-Chap14)编、译码码，在数学上可看作是一种映射；（消息空间）在物理上可看作是一种变换。（消息空间）即——编码——译码这里由于、、、均为有限值，故可仅讨论有限空间上的映射。若选即为二元有限域
4、，则称上述码为二元码。下面，我们根据通信系统主要技术指标数量指标——通信有效性由这三个指标可进一步将编译码分解为三个子变换：-15-Chap1其中为有效性的信源编译码；为安全性、加解密码为可靠性的信道编译码。另外，根据需要也还可划分更多的子变换。5)通信系统S当已知信源U,信宿V,信道C以及编译码(f,g)时，可给出一个确知的通信系统S.S={U,V,C,(fi,gi)}i=1,2,3可以分别表示有效（i=1）、安全（i=2）、可靠（i=3）的单指标优化系统。通信系统统计特性可表示为p(S)=p(ul)p(xn/ul)p(
5、yn/xn)p(vl/yn)即ul、xn、yn、vl构成马氏链。如果编译码方式给定，即1,当xn=f(ul)f=0,其它-15-Chap11,当ul=g(yn)g=0,其它这时，p(s)=p(ul)·f·p(yn/xn)·g=p(ul)·p(yn/xn)为了定量分析度量编译码的好坏。我们引入码（f,g）的误差函数e（f,g）:e（f,g）p{g[f(ul)]≠ul}并给出下列标准：1〉无失真准则：e(f,g)=0即:p{g[f(ul)]=ul}=1或p{g[f(ul)]≠ul}=02〉误差准则：，即：或：3〉平均误差准则：
6、，即：或：或：三个准则中，无失真准则最强，平均误差准则最弱。-15-Chap1信息论中无失真信源编码定理采用无失真准则，限失真信源编码定理以及信道编码定理都采用平均误差准则。三>信息与通信系统的优化1>系统参量的分类：客观参量：它是由信源、信道、信宿本身的客观统计特性所决定的，比如无失真信源的信息熵：H(U)限失真信源的信息率失真函数：R(D)信道容量：C、C(F)信宿可获得的信息量：I(U,V)主观要求的参量：他是人为给定与主观要求的，比如通信系统的实际传输速率：R信宿的最大允许失真：D信道受限时总代价：F指定（掌握密钥
7、）信宿：V非指定（不掌握密钥）信宿：V’2>系统优化的实质-15-Chap1就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。优化的目标：对无失真信源系统传输最有效对限失真信源系统传输最可靠；系统传输最安全；有以上三个指标、四个方面所讨论的系统优化就构成了最著名的C.E.Shannon三个编码定理与一个密码学基本定理。3>无失真信源编码定理优化指标：系统传输最有效。优化条件：无干扰信道，无失真信源，理想安全性。优化问题：什么条件下，最优无失真信源编译码存在，什么条件下，最优无失真信源编译码不存
8、在。优化对象：信源与通信系统之间的统计匹配无失真信源可以用信息熵定量描述：H(U).通信系统可以用要求达到的传输率：R表示。定理表达形式：（它既是存在性，也是构造性定理）-15-Chap1若R>H(U)时，最有效的信源编译码（f1,g1）存在；反之，R
