资源描述：
《信息电子学院实验指导书格式-信息论》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、《一信息论基础一》实验指导书童基均编写适用专业：通信工程浙江理工大学信息电子学院二OO八年三月信息论是现代通信与信息工程的理论基础。作为电了信息科学与技术专业本科生的学科基础课，本课程主要讲授：信息的定义和测度、信源和信息嫡、连续嫡和信息变差、信道和互信息、平均互信息和信道容量、数据处理和信息测量理论、无失真信源编码理论和编码方法等内容。本课程按“单符号离散信息系统”、“多符号离散信息系统”、“连续信息系统”三个“系统”层面，逐步深入展开，以严密的数学分析贯串始终。通过教学，使学生掌握信息理论的基
2、本概念和信息分析方法，为今后进一步研究信息科学和信息技术打下坚实的理论基础。实验一：离散信道容量的迭代计算实验学时：3实验类型：（演示、验证、综合、/设计、研究）实验耍求：（J必修、选修）一、实验目的通过木实验的学习，理解和掌握信道容量的概念和物理意义；了解信道容量的计算方法尤其是迭代计法；采用计算机编程实现迭代算法。二、实验内容信道容量的概念和物理意义；信道容量的计算方法；采用计算机编程实现信道容量的计算三、实验原理、方法和手段1.离散信道的物理模型为：Xp（Y/X）
3、>Y信道容量定义为平均互
4、信息的最人值：C=max{/（X；y）}o“（X）2.信道容量表征了一个信道传送信息的最人能力，实际中传送的信息量小于信道容量，否则传送过程屮岀现错误。3.由信道容量的定义可知，I（X,Y）的值由信道的传送概率决定的，因而信道的传递概率决定了信道的信道容量。给定了信道的传递概率，可以通过推导方法求得信道的信道容量，一般可以求出传递效率达到信道容量时候的输入信号的分布，但是这种方法不方使计算机实现。4.迭代法，便于计算机实现：迭代法分成三个模块，一个迭代计算反向实验信道p（xy）,另一个迭代计算p
5、（x）,第三个检查一次迭代前后信道容量误差的变化是否小于检测值£（可取0.0001），如果小于检测值则停止计算，输出结果。C=max{/(X,K)}=max{工工耳(兀)几伙(歹丨兀)l°g宾字几伙0"“)XX=max{maxVYW^)x(ylx)logp(x)P(yLv)十丁=max{VVPx(x)PYlx(yIx)log=~~"此()丨"丫)}件丫(则刃］PXM信道容量的迭代计算具体如下：求信道容量C就是在H的约束下，求I(X;Y)的极人值。为计算方便，重写下I(X;Y)式，公式屮的对数取门然
6、数。/(x,r)=XEAA7lnv^(1)iJ乙PiPiji首先引入反条件概率，即(2)Pxy(叩bj)=qjjPi迭代算法的要点是，当信道固定(即內固定)时，把I(X;Y)看成是0和qji的函数，用公式(3)进行信道容量计算的迭代。每一次迭代有两步组成：⑷将才)固定，在约束工幻产1的条件下变动你，得到I(X;Y)的极大值，记为iI(X,Y)=C(pJ；q^)=C(n,n)；此时亦)满足(2)式,重写为:严一川人(4)i(b)(b)将亦)固定，在约束工卩产1的条件下变动门，得到I(X;Y)的极大
7、值，记为//(X,y)=C(^(n+1);略))=C(n+l,n);此时”曲)满足:(5)力(”+i)_e7Pi(4)与(5)是迭代的基木公式。先取一组龙”)5=1)的初始值，通常选取均匀分布，由(4)计算qf,再将此值代入(5)计算依此反复计算下去。每次迭代都要利用(3)灌I(X;Y)的值。可以设置门限值，当和临的两次计算值I(X;Y)小于门限值时，就结束迭代过程，此时I(X;Y)的值就是信道容量C。可以采用下述方法，避免计算反向条件概率，使算法简化：将(4)代入(5)得为内In(旳/讥"))(
8、6)°("+1)=Pi€工gi其中(7)(")V(“)qi=乙p；Pai将(6)(5)代入(3),得(8)C(pE);亦))=111工才)“I现将算法归纳如下：设信道输入输出符号集的大小分別为r，5,且8为一个小的正数。且初始概率分布为均匀分布，即设pi-!r1)计算約=工1切;I工®】n(®/幻)2)计算e=ej丿=1,•…，厂；3)计算U=XPiai；/4)计算厶=10缶("),/"=log2(max(az));i5)若(ZC/-/L)<£,转到6),否则Pi==…厂;返回1)1)输出信道容
9、量的值(比特/符号)四、实验数据源1.P(al)二p@2)=()・50-92.=1)2b3五、实验组织运行要求以学生自主训练为主的开放模式组织教学六、实验条件(1)微机(2)MATLAB编程工具七、实验报告实验预习:离散信道容量的定义以及信道容量的迭代计算方法实验记录：通过迭代算法计算能够得到的信道容量的结果实验报告输入：p(ai)#include
