2、于单个随即变量的AEP的简单扩展。联合AEPnnnnx通过信道，得到y，以高概率(x,y)为联合典型。nn我们只观察到y，试找出x与之称为联合典型。问题：~n(n)()如果我随机地选择一个典型序列XÎAX，以及e一个~xnÎA(n)(Y)，他们是联合典型的吗？e(n)(n)(n)Ae(X)´Ae(Y)?Ae(XY,)nHX()nHY()nHXY(,)2´2³2~n~n定理：如果(X,Y)是独立的，拥有同样的边界分布，即：(~n~n)(n)(n)X,Y~PnxPnyXY((~n~n)(n)())-n(I(X;Y-3e))PX,YÎAX,Y£
3、2e以及对于足够大的n((~n~n)n())()-n(I(X;Y)+3e)PX,YÎAX,Y³1-e2e证明：(~n~n(n)())P(X,Y)ÎAX,Yenn=∑PXn(x)PYn(y)()nAe(XY,)nHXY((,)+e)-nHX(()-e)-nHY(()-e)£222-nIXY((;)-3e)=2举例：：：二进制信源与：二进制信源与BSC考虑二进制信源nx通过一个二进制对称信道，交叉传输概率为p。确定一个任意的输入序列nny，什么样的x与其联合典型呢？nnnn记w=y-x,w，中大概有np个1。那么有多少个nnH(p)x呢？=ɺ2检
4、验：这集合远比nnc=2少的多。讨讨讨讨论论论论对于一个固定的典型nnH(X)y，在2种典型X序列中，nH(X
5、Y)n大概有2种序列与y联合典型让nnnx通过一个信道获取一个联合典型对(x,y)。现在n假设只有y是知道的。如果我们选取另一个随机的~nx并确定它是否为传输原序列，检验联合典型将会-nI(X;Y)有概率为2的模糊。检验联合典型是一个好的译码方法。总总总总结结结结考虑一个离散无记忆信道和转移概率P(y
6、x)Y
7、X我们说数据速率R是可达的，是指如果存在一系列的码书()nRCn,每个含有2个码字，如果n趋于无穷，错误率也将趋于
8、零。一旦码书确定，接收端也将会知道差错概率与容量之间的关系构造：：：：nR随机码书：对于每一个n，选择2个码字，每个长度为n，输入分布P(x)为独立同分布。XnR2nP()C=ÕÕP(x()w)Xiw=1i=1所有信息都是等概率的。定义信息WWWW()-nRnRPW=w=2,forw=,1…2,编码与译码发送端端端：端：：：根据消息W=w，在n个用户的信道上发送码字n()xw。区分独立同分布随机编码并发送独立的符号。接收端端端：端典型集合译码：对于给定的nnny，如果码书中存在唯一的x(w)并与y联合典型，则译码Wˆ=w否则，声
9、明错误。随机编码计算错误概率：：：：P(erroe)=∑P(C)P(error
10、C)cnR21=∑PC()nR∑PerrorcW(
11、.=w)c2w=1nR21=nR∑∑PCPerrorcW()(
12、,=w)2w=1c=∑PCPerrorcW()(
13、,=1)c=PerrorW(
14、=1)这里错误概率的计算是对全体编码求平均得到的。随即编码可以形成对称性不是计算某个特定码的错误概率，而是计算所有码的错误概率的平均值如果平均错误概率比较小，则至少存在一个码，其错误概率也很小。使用联合渐近均分性定义：{(n()n)(n)}nRE=xi,yÎA对于i
15、=,1…2,ie()(c)Perror
16、W=1=PEÈEÈ…ÈEnR122nR2(c)∑()£PE+PE1ii=2nn事件E属于空间c´y。计算概率E时，我们可以ii用的nnX,Y分布是什么样呢？对于nnnEi，X,Y取自联合分布PXn,Y对于nnEwithi³,2X,Y取自独立边缘分布，例如：inn(n)(n)X,Y~PnxPnyXY考虑一下联合渐近均分性对于给定的e>0，足够大的n，(c)PE£e1对于i³2()-n(I(X;Y)-3e)PE£2i错误概率为：nR2()(c)∑()Perror£PE1+PEii=2nR-nIXY((;
17、)-3e)£+e22-nIXY((;)--R3e)=+e2如果R
