信息论与编码第二讲

《信息论与编码第二讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二讲信道编码理论和线性分组码主要内容1234信道编码定理线性分组码的编译码码的检、纠错能力信道编码概念一、信道编码概念1.1通信系统模型信源编码器把消息转换成为二进制形式的信息序列，并且为了使传输有效，去掉了与传输信息无关的多余度。纠错编码器为了抗击传输过程中各种干扰，要人为地增加一些多余度，使其具有自动检错或纠错能力。纠错码译码器由于信道干扰，该信息序列中可能有错误，经过纠错码译码器，对错误进行纠正。信源指原来的信源和信源编码器，其输出是二(多)进制信息序列。信道包括发射机、实际信道（或称传输媒质）和接收机在内的广义信道，它

2、的输入是二（多）进制数字序列，输出是二（多）进制数字序列。1.2编码信道二、信道编码定理2.1信道编码理论每个信道具有确定的信道容量C，对任何小于C的码率Rs，存在有速率为Rs、码长为n的编码方法，若用最大似然译码，则随着码长的n增加其译码错误概率Pe可任意小，即：式中，E(RS)为正实函数，称为误差指数，它与RS、C的关系如下图所示。图中，C1、C2为信道容量，且C1＞C2。2.2信道编码基本思想2.3译码平均错误概率2.4译码规则2.4.1最大后验概率译码准则例题2.4.2极大似然译码准则例题两种译码准则比较2.4.3最小码

3、距译码准则最小码距最小码距对错误概率的影响最小距离译码准则最小距离准则与最大似然准则关系例：重复码早期的检错码为重复码。该码用000代表信息“0”，用111代表信息“1”。显然所增加的2个码元并不增多信息，是多余的,使传信率降低。此外，除去传送信息的000和111这2种组合外,还有001,010,011,100,101,110等6种组合没采用。当信道上信噪比足够大时,可认为000和111中产生的错误一般不会多于一个码元。如接收到001,010,100,在接收端怎么译码呢？根据最小码距译码准则，可判定实际上是000,即信息为0；同

4、理,如接收到011,110,101,在接收端也可判定111,即信息为1。可见,多余码元可检出并纠正一个错误，这样就提高了传信的可靠性。三、线性分组码m2m1m0C5C4C3C0C1C23.1生成矩阵[m2m1m0]100111010110001011=[c5c4c3c2c1c0]mG=C100111010110001011张成码空间的三个基，本身也是码字。信息空间到码空间的线性映射信息组(m2m1m0)码字(c5c4c3c2c1c0)00000000000100101101001011001101110110010011110

5、1101100110110001111111010k维k重k维n重信息空间码字空间gk-1G==⋮g1g0c=mG=[mk-1,……m1m0][gk-1…g1g0]T=mk-1gk-1+…+m1g1+m0g0生成矩阵G是由k个行矢量组成的，其中的每个行矢量gi既是一个基底，也是一个码字。任何码字都是生成矩阵G的k个行矢量的线性组合。只要这k个行矢量线性无关，就可以作为k个基底张成一个k维n重空间，它是n维n重空间的一个子空间，子空间的所有2k个矢量构成码集C。不同的生成矩阵产生不同的码，生成矩阵的特点决定了码的特点。由于构成同

6、一空间的基底不是唯一的，所以不同的基底或生成矩阵可能生成同一码集。码集相同，编码不一定相同，因为编码涉及码集和映射两个因素，码集一样而映射方法不同不能说是同样的编码。由于基底不是唯一的，因此允许将基底线性组合后挑出其中k个线性无关的矢量作为新的基底，依然可以张成同一个码空间。对应到生成矩阵，等效于允许通过行运算（行交换、行的线性组合）改变生成矩阵的行而不改变码集，只要保证矩阵的秩仍是k（k行线性无关)。所以，任何生成矩阵可通过行运算转化成“系统码”形式。3.2系统码把信息组原封不动搬到码字前k位的(n,k)码，其码字具有如下形式

7、：c=(cn-1,…cn-k,cn-k-1,…,c0)=(mk-1,…m1,m0,cn-k-1,…c0)其生成矩阵具有如下形式：G=[IkP]=3.3校验矩阵对于k×n矩阵G，存在一个(n-k)×n矩阵H，使得G的行空间和H正交。基底数k的码空间C是n维n重空间的子空间，若能找出全部n个基底的另外n-k个基底，也就找到了对偶空间D。将D空间的n-k个基底排列起来可构成一个(n-k)×n矩阵，称为是码空间C的校验矩阵H，它与所有码字正交。既然用k个基底能产生一个(n,k)线性码，那么也能用其余n-k个基底产生一个(n,n-k)线性

8、码，称（n,n-k）线性码是(n,k)线性码的对偶码。C和D的对偶是相互的，G是C的生成矩阵又是D的校验矩阵，而H是D的生成矩阵又是C的校验矩阵。n维n重空间Rk维k重k维n重n-k维n重信息组码空间C对偶空间D空间mGH图3-1码空间与映射c是G空间的一个码字