资源描述：
《信息论讲义-第四章(10讲)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第10讲北京航空航天大学201教研室陈杰4.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X,p(y
2、x),Y］,输入符号集合:A={a,a,……,a}12r输出符号集合:B={b,b,……,b}12sX取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得ＸＹ信道X=()XXX?Y=()YY?Y12N12Np(y
3、x)其中,Ｘ取值于Ａ，Ｙ取值于Ｂ，i=1,2,……Ｎii2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：X1X2……XNYY……Y12
4、N信道p(
5、)yy…yxx…x12NN12N若pp(
6、)(yx==y12y??yNNi
7、x12xxp)∏(
8、)yxii=1则称NNNN为[,(
9、)XpyxY,]Ｎ次无记忆扩展信道。2006-11-274.３离散无记忆扩展信道三、离散无记忆信道数学模型XY信道信道输入序列X=XX……X12N取值xxx=12,……xNxi∈A信道输出序列Y=YY……Y12N取值yyy=12,……离散无记忆yNyi∈B信道转移概率{,(
10、),}XYpyx信道iiNp(
11、)yx=∏pyx(
12、)iii=12006-11-274.３离散无
13、记忆扩展信道离散信道的数学模型可表示为{,(
14、),}XYpyx定义若离散信道对任意N长的输入、输出序列有Np(
15、)yx=∏pyx(
16、)iii=1称为离散无记忆信道，简记为DMC。数学模型为{,(
17、),}XYpyxii2006-11-274.３离散无记忆扩展信道(1)对于DMC信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。(2)对任意n和m，iA∈，jB∈，若离散无记忆信道还满足py()=jxip==()yj=xi=nnmm则称此信道为平稳信道的或恒参信道。2006-11-274.３离散无记忆扩展
18、信道四、无记忆Ｎ次扩展信道的互信息I(;)XYNN=I(X;Y)NNN=H(X)−H(X
19、Y)NNN=H(Y)−H(Y
20、X)2006-11-274.３离散无记忆扩展信道定理一：若信道的输入和输出分别是N长序列，XY=X,,,XX??，=Y,,,YY。且12NN12信道是无记忆的。亦即信道传递概率为Np(yx
21、)(=∏pyii
22、x)i=1或者NNNp(βαhk
23、)==∏pba(hk
24、)，，k1,2,??,rh=1,2,,siii=1则平均互信息NI(;)XY≤∑IXY(;)iii=12006-11-274.３离散
25、无记忆扩展信道定理二：若信道的输入和输出分别是N长序列为，X=XX12,,,?XNYYYY=12,,,?N且信源是无记忆的，亦即Npx()=∏px()ii=1或者Np()()()()α==papa??pa,1k,2,,rkk12kkN则存在NII(;)XY≥∑(;)XiiYi=12006-11-274.３离散无记忆扩展信道重要结论若N次扩展信道输入随机序列的每一个分量取自于同一信源符号集，具有相同的概率分布，且通过相同的信道传输，信道输出随机序列各分量也取值于同一符号集，此时I(;)(;)XY=IXY==?IX
26、Y(;)(;)=IXY1122NN于是得N∑I(,)XYNIXYii=(,)i=1当信源也是无记忆时，I(;)XY=NIXY(;)2006-11-27例题例4.8二元对称信道如图所示.XpY00pp11p求：二元无记忆对称信道的二次扩展信道矩阵2006-11-27例题解：二元对称信道的二次扩展信道的信道矩阵为2⎡pppppp2⎤⎢⎥2⎢pppp2pp⎥Π=⎢⎥2⎢ppp2ppp⎥⎢⎥2⎢pp2pppp⎥⎣⎦2006-11-274.４信道的组合一、组合信道分类并联信道------扩展信道P01级联信道------
27、串联信道P=0P2和信道(合信道)------例:P,P12XYZ信道I信道II2006-11-274.４信道的组合二、级联信道信道Ⅰ,信道Ⅱ满足:信道Ⅰ:输入X取值A={,,,}aa12?ar输出Y取值B={bb12,,,?bs}p(y
28、xp)(=ba
29、)传递概率jiXXp(
30、)yxYYp(zx
31、y)Z信道Ⅱ:输入∑pyx(
32、)1Y取值=P(bj
33、aBi)={bb12,,,∑?pzxy(
34、)1bs}=YZ输出Z取值Cccc={,,,}?12l传递概率p(
35、)zxypcab=(
36、kij)则称此信道为级联信道.2
37、006-11-274.４信道的组合三、级联信道的平均互信息级联信道的平均互信息满足以下关系：I(;)(;)XYZ≥≥IYZIXYZ(;)(;)IXZ等号成立的充要条件pzxy(
38、)(
39、),(
40、)(
41、)=pzypzxy=pzx2006-11-274.４信道的组合具有马尔可夫特性的级联信道的平均互信息若随机变量X,Y,Z组成一阶马尔可夫链此时,p(z
42、xy)=p(z
43、x)于是有IXZIXY
