信息论与编码理论基础(第五章)53674

信息论与编码理论基础(第五章)53674

ID:38510339

大小:177.50 KB

页数:27页

时间:2019-06-13

信息论与编码理论基础(第五章)53674_第1页
信息论与编码理论基础(第五章)53674_第2页
信息论与编码理论基础(第五章)53674_第3页
信息论与编码理论基础(第五章)53674_第4页
信息论与编码理论基础(第五章)53674_第5页
资源描述:

《信息论与编码理论基础(第五章)53674》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第五章:信道编码定理(一)§5.1离散信道编码问题§5.2~3离散信道编码定理2021/7/181§5.1离散信道编码问题最简单的检错和纠错单个的字无法检错:扪→?词汇能够检错:我扪的→我扪的词汇能够纠错:我扪的→我们的,我等的,我辈的,我班的,…原因分析:“扪→?”可以有几万个答案,但“我扪的→?”的答案却很少。结论:课文以及词汇的概率分布的稀疏性可以用来检错和纠错。2021/7/182§5.1离散信道编码问题设信道是一个D元字母输入/D元字母输出的DMC信道,字母表为{0,1,…,D-1}。其信道转移概率矩阵为D×D矩阵如下。这是一个对称信道。信

2、道传输错误的概率定义为P(输出不等于k

3、输入为k)=p,k∈{0,1,…,D-1}。此处p<(1-p)。2021/7/183§5.1离散信道编码问题设信源消息序列经过D元信源编码(等长编码或不等长编码)后变成了如下的随机变量序列…X-2X-1X0X1X2…,其中每个随机变量Xl的事件全体都是D元字母表{0,1,…,D-1}。将此随机变量序列切割成L维随机向量准备输入信道:(X1X2…XL),(XL+1XL+2…X2L),…。如果直接将(X1X2…XL)输入信道,信道的输出为(X1’X2’…XL’),则①当信道传输错误时无法检测到(即接收方无法确知是否

4、正确接收)。②正确接收的概率为P((X1’X2’…XL’)=(X1X2…XL))=P(X1’=X1)P(X2’=X2)…P(XL’=XL)=(1-p)L。2021/7/184§5.1离散信道编码问题将(X1X2…XL)进行变换:C(X1X2…XL)=(U1U2…UN),其中(U1U2…UN)为N维随机向量,N≥L,且变换是单射(即(X1X2…XL)的不同事件映射到(U1U2…UN)的不同事件)。将(U1U2…UN)输入信道;信道的输出为(Y1Y2…YN);再根据(Y1Y2…YN)的值猜测出输入信道的值(U1’U2’…UN’),并根据变换式(U1’U2

5、’…UN’)=C(X1’X2’…XL’)将(U1’U2’…UN’)反变换为(X1’X2’…XL’)。如果(X1’X2’…XL’)=(X1X2…XL),则正确接收。2021/7/185§5.1离散信道编码问题(1)(X1X2…XL)的事件共有DL个,因此(U1U2…UN)的事件共有DL个,占N维向量值的份额为DL/DN=1/DN-L。因此当信道传输错误时,有可能使输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说,信道传输错误有可能被检测到。(2)如果精心地设计变换C(X1X2…XL)=(U1U2…UN)和猜测规则(Y1Y2…YN)→(U1’

6、U2’…UN’),则正确接收的概率远远大于(1-p)L。(3)变换(X1X2…XL)→(U1U2…UN)=C(X1X2…XL)称为信道编码,又称为(N,L)码。一个事件的变换值称为该事件的码字。L称为信息长,N称为码长。2021/7/186§5.1离散信道编码问题(4)过程(Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正确译码(实际上就是正确接收)。(5)N比L大得越多,1/DN-L份额越小,码字的分布越稀疏,信道传输错误不在这1/DN-L份额之内的可能性越大,

7、即信道传输错误越容易被检测到。但N比L大得越多,信道传输的浪费越大。(6)称R=L/N为编码速率,也称为信息率。(似乎与信源编码相互倒置?)(7)注解:“(X1X2…XL)不进行编码”实际上也是一种编码,称为恒等编码。此时N=L,事件x=(x1x2…xL)的码字就是x自身。2021/7/187§5.1离散信道编码问题关于译码准则译码准则就是猜测规则。当信道的输出值为y时,将其译为哪个码字u最合理?最大后验概率准则简记b(u

8、y)=P((U1U2…UN)=u

9、(Y1Y2…YN)=y)。称b(u

10、y)为后验概率。最大后验概率准则:2021/7/188§5

11、.1离散信道编码问题后验概率的计算:记q(u)=P((U1U2…UN)=u),称q(u)为先验概率;pN(y

12、u)=P((Y1Y2…YN)=y

13、(U1U2…UN)=u),我们知道p(y

14、u)是信道响应特性,而且pN(y

15、u)=P(Y1=y1

16、U1=u1)P(Y2=y2

17、U2=u2)…P(YN=yN

18、UN=uN)=(p/(D-1))d(1-p)N-d,其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数;(以后将称d为Hamming距离)2021/7/189§5.1离散信道编码问题记w(y)=P((Y1Y2…YN)=y)。我们知道202

19、1/7/1810§5.1离散信道编码问题最大似然概率准则最小距离准则(最小错误准则)y与u的Hamming距

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。