资源描述：
《信息论讲义-第四章(9讲)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第9讲北京航空航天大学201教研室陈杰第四章离散信道•内容提要4.1信道模型及其分类4.2离散无记忆信道4.3离散无记忆扩展信道4.4信道的组合4.5信道容量4.6信源和信道的匹配2006-12-264.1信道的数学模型及分类一、信道的数学模型信道是信息传输的媒质或通道。其数学模型如下:干扰2006-12-264.1信道的数学模型及分类二、信道的分类1.输入输出事件取值集合性质离散信道连续信道半连续信道时间离散的连续信道波形信道2006-12-264.1信道的数学模型及分类2.根据输入和输出的个数
2、分为两端信道多端信道XY2006-12-264.1信道的数学模型及分类3.根据信道的统计特性分为恒参信道随参信道2006-12-264.1信道的数学模型及分类4.根据信道的记忆特性分为无记忆信道有记忆信道2006-12-264.2离散无记忆信道一、离散无记忆信道XY信道p(y
3、x)输入符号集合:A={a,a,……,a}12r输出符号集合:B={b,b,……,b}12s例：对于二进制信道：A={0，1}B={0，1}2006-12-264.2离散无记忆信道二、基本分类(1)无噪信道信道的输入和输出集存在确定的函数关系。yf
4、x=()nn⎧1yfx=()nnpyx(
5、)=⎨nn⎩0yfx≠()nn2006-12-264.2离散无记忆信道(2)有干扰无记忆信道•信道中存在随机干扰，输出符号与输入符号之间无确定的对应关系。•信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与其他时刻的输入符号及输出符号无关。其条件概率为Np(
6、)(,,,
7、,,,)yxpyy==12??yxxNNn12x∏pyx(
8、)nn=1(3)有干扰有记忆信道实际信道往往是有干扰有记忆信道。2006-12-264.2离散无记忆信道三、单符号离散无记忆信道定义：假设信道输
9、入随机变量为X，其取值为x，xAaa∈={12,,,?ar}；输出随机变量为Y，取值为y，yBbb∈={12,,,?br}。信道传递概率为信道的传递概率又称为转移概率。它是p(y
10、xP)(=YbXaP==
11、)(=ba
12、)一个条件概率，且jiji⎧≥（）pbaji0ir=1,2,??i,=；1,2,,js??=1,2,r；j=,1,2,,s⎪s⎨⎪∑（）pbaji==1i1,2,,?r⎩j=12006-12-264.2离散无记忆信道信道传递概率可以用传递概率矩阵表示，称为信道矩阵P。1.元素大于等于02.行之和为1⎡p11
13、pp121s⎤⎢⎥pppP=⎢21222s⎥⎢⎥⎢⎥⎢⎣prr12pprs⎥⎦2006-12-264.2离散无记忆信道四、常用概率公式①先验概率p()aP=(Xai==)1,2,?,rii②前向概率（即信道传递概率）pba(
14、)(=pYbXa==
15、)jiji2006-12-264.2离散无记忆信道③联合概率p()(ab====pXaYb,)i1,2,,??rj；=1,2,,sijij④后向概率（又称后验概率）------模式识别pab(
16、)(===pXaYb
17、)ijij⑤输出符号概率pb()(==pYb)jj2006-1
18、2-264.2离散无记忆信道五、信道疑义度定义：称输入符号集X对输出符号集Y的条件熵srH(
19、)[(
20、)XYEHXb==ji]∑∑pab()ljog(
21、)pabijji==11物理意义：信宿收到全部符号Y后，对输入符号X尚存在的平均不确定程度。示例：(1)无噪声信道，H(X
22、Y)=0(2)通常情况H(X
23、Y)≤H(X)2006-12-264.2离散无记忆信道•各种熵先验熵r1HX()==∑∑pa()logi−px()log()pxiX=1pa()i在接收到符号Y之前，关于输入符号X的先验不确定性的度量。后验熵r11HXb
24、(
25、)ji==∑∑pab(
26、)ljogpxb(
27、)ljogiX=1pab(
28、)ijpxb(
29、)j接收到输出符号y=b后，关于X的不确定性的度量。j2006-12-264.2离散无记忆信道•各种熵条件熵sHXYEHXb(
30、)[(
31、)==jj]∑pbHXb()(
32、)jj=1sr1=∑∑pb()jipab(
33、j)logji==11pab(ij
34、)rs1=∑∑pab(ij)logij==11pab(
35、)ij1=∑pxy()logXYpxy(
36、)2006-12-264.2离散无记忆信道六、平均互信息量定义：原始信源熵与信道疑义度之
37、差，即先验的不确定性减去尚存在的不确定性。defIXY(;)=−HXHXY()()物理意义：接收到输出符号集Y后，平均每传输一消除的不先验的不尚存在的不个符号获得的关于确定性确定性X确定性的信息量。I(X;Y)＝H(X)-H(X
38、Y)＝H(X)+H(Y)-H(X,Y)2006-12-264.2离散无记忆信道•平均互信
