资源描述：
《信息论离散信道及其容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第4章离散信道及其容量通信系统模型信息论的研究基础是通信系统模型。4.1信道的数学模型及其分类信道是信息传输的通道。由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y
2、x)描述。而输入和输出又有各自的统计特性，分别用和表示。第3章介绍有记忆信源的时候用到了条件概率，现在又用到了条件概率，两种情况下条件概率所表达的含义相同吗？不同信源：表示前后输出的符号之间的关联关系信道：表示传输时发生错误的情况，或者说干扰的情况信道的分类根据输入输出事件的时间特性离散信道：GSM连续信道：有线电视、广播根据输入输出个数两端信道（单路信道）：电话多元接入信道：
3、信道的复用广播信道：广播根据统计特性恒参信道：信道的统计特性不随时间发生变化。随参信道：信道的统计特性随时间发生变化。根据记忆特性无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。一些特殊信道无损信道：输出可以决定输入，即知道了信道的输出符号，能确切判断出它对应的输入符号是什么。确定信道：输出完全由输入决定，即输入符号一旦定下来，信道的输出是确定的。无噪信道：既是无损信道，又是确定信道。输出能决定输入，输入也能决定输出。现实生活中很少存在这样的信道。无用信道：输入与输出相互独立，没有任何
4、关系。4.2离散无记忆信道离散信道的输入序列为X={X1,X2,…,XN}，其取值为x={x1,x2,…,xN}，其中xn∈A={a1,a2,…,ar}。信道的输出序列为Y={Y1,Y2,…,YN}，其取值为y={y1,y2,…,yN}，其中yn∈B={b1,b2,…,bs}。离散信道特性：p(y
5、x)=p(y1y2…yN
6、x1x2…xN)信道的数学模型：{X,p(y
7、x),Y}离散无记忆信道定义4.2.1若离散信道对任意N长的输入、输出序列有p(y
8、x)=p(y1y2…yN
9、x1x2…xN)=，则称它为离散无记忆信道，简称DMC。其数学模型为：{X,p(y
10、x
11、),Y}={X,p(yn
12、xn),Y}无记忆的含义：信道的输出只与此时信道的输入有关，与以前的输入无关。定义4.2.2对任意n和m，若离散无记忆信道还满足P(yn=j
13、xn=i)=P(ym=j
14、xm=i)则称此信道为平稳的或者恒参的。无记忆离散平稳信道中序列的转移概率和单个符号的转移概率的关系后面如无特殊声明，所讨论的离散无记忆信道都是平稳的。因为无记忆，所以序列的转移概率可以表示为单个符号的转移概率的乘积。因为平稳，所以序列的转移概率和符号的转移概率都不随时间发生变化。因此对于无记忆离散平稳信道，只需研究单个符号的传输，即研究一维概率分布即可。三种常见的离散信
15、道无扰（无噪）信道输出符号与输入符号之间有确定的一一对应关系：yn=f(xn)，常见的情况是yn=xn，这表明传输没有发生错误（信道上没有干扰），发送的是什么，接收到的就是什么。无扰信道还可以表示为：有干扰无记忆信道有干扰有记忆信道实际信道往往是既有干扰又有记忆4.2.2单符号离散信道N=1，信道传递概率：p(y
16、x)=P(Y=bj
17、X=ai)=p(bj
18、ai)=pij，满足pij≥0，所有的信道传递概率可以组成一个矩阵：信道矩阵P：例4.2.1二元对称信道简称为BSC二元：输入和输出符号集均为{0,1}对称：1变成0和0变成1的概率相等。p(0
19、0)=p(1
20、
21、1)=1-p，p(0
22、1)=p(1
23、0)=pBSC的信道矩阵：例4.2.2二元删除信道二元：输入符号集为{0,1}，输出符号集中的有效字符也为{0,1}。删除：输出符号集为{0,x,1}，不过信道不会发生错误（0不可能变为1，1也不可能变为0），但是0和1都有被删除的可能（删除用变为x表示）。信道矩阵：例4.2.3二元对称消失信道二元：输入符号集为{0,1}，输出符号集中的有效字符也为{0,1}。消失：输出符号集为{0,x,1}，信道有可能发生错误（0可能变为1，1也可能变为0），而且0和1都消失的可能（消失用变为x表示）。信道矩阵：离散信道中常用的几种概率先验
24、概率：p(ai)，PX=[p(a1)p(a2)…p(ar)]联合概率：p(aibj)=p(ai)p(bj
25、ai)=p(bj)p(bj
26、ai)信道传递概率：p(bj
27、ai)=pij，后验概率：p(ai
28、bj)输出符号概率：PY=[p(b1)p(b2)…p(bs)]=PXP4.2.3信道疑义度定义4.2.3称输入空间X对输出空间Y的条件熵为信道疑义度。含义：收到全部输出符号Y以后，对输入符号X尚存在的平均不确定性。这种不确定性是由信道干扰引起的。对无扰信道：H(X
29、Y)=0。H(X
30、Y)≤H(X)：收到输出符号Y以后，总能消除一些对X的不确定性，获得一些信息。表示接
31、收到符号bj后，仍然保留
