资源描述：
《信息熵-平均互信息-信道容量260442》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、《信息论与编码》实验1绘制爛函数曲线一、实验目的•熟悉工作环境及Matlab软件•掌握绘图函数的运用•理解爛函数表达式及其性质二、实验原理丄信息爛自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的门信息量进行统计平均，从而得到平均不确定性。＞爛的表示H(X)=E[/(X)]=工p(xjl(壬)=-工p(xz)logp(xj••II＞注意的问题爛是自信息量的统计平均，因此单位与自信息量的单位相同，与爛公式中所用对数的底有关：bit/符号、nat/符号、dit/符号
2、、r进制单位/符号。特殊公式：某个pk=O时，01og0=0(limxlogx=0)在爛的定义屮忽略零概率xtO事件。＞平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性Z差，是互信息量的统计平均：/(X；Y)=工(X;yj)=工p(儿)卩(兀/jijP^i)/（X;Y）=H（X）-H（X/y）1（YX）=H（Y）-H（YIX）三、实验内容1•用Matlab软件绘制二进爛函数曲线。＞二元信源（x601）=0＜P＜12丿・1-卩丿＞二元信源的爛为H(p.l-p)=-plogp-(l-p)log(l-p)
3、绘制当p从0到1之间变化时的二元信源的信息爛曲线.Matlab程序：p=0.00001:0.001:l;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);titlef二进爛函数曲线);ylabelCHCpJ-p)1)2.绘制三元信源的爛＞三元信源＞三元信源的爛为H（Pl，Pl，1-P1-P1）=-卩logPl-P2log卩2-（1-Pl-卩2）log（l-P1-卩2）绘制当"1，从0到1之间变化时的三元信源的信息爛曲线.[pl,p2]=meshgrid(0.00001:0.001:1);h=-p1.*log
4、2(p1)-p2.*log2(p2)-(1-pl-p2).*log2(I-pl-p2);meshc(pl，p2,h);title(三进爛函数曲线);3.绘制平均互信息量图形对于二元对称信道的输入概率空间为~X・0,1_PM_co,co=-co平均互信息：z（x；y）=H（r）-//（r/X）H(n-^P(x)^P(y/x)logXY1P(y/x)H(r)-^P(x)[plog丄+piog丄]XPP=H(Y)-[pog--^pog^]=H(Y)-H(p)PP根据：p(bj)=£pa)p(bjg)=iZ=1所以：2p(y=0)=£P(q
5、)P(0丨q)=P(0)P(0丨0)+P(l)P(0丨1)=切+copJ=1p(y=[)=YP(4)P(0ai)=P(O)P(1丨0)+P(1)P(111)=®p+cop1=1/(X；Y)=H(X)-H(p)=(69/7+log—+(69/?+6>p)log-[/?log—+plog-^]cop+(dp{cop+(dp)pp=H(砂+引)—//(/”绘制当69,〃从0到i之间变化时的平均互信息爛曲线.[w,p]=meshgrid(0.00001:0.001:1);h=-(w.*(l-p)+(1-w).*p).*log2(w.*(l-p)
6、+(l-w).*p)-(w.*p+(1-w).*(l-p)).*log2(w.*p+(l-w).*(l-p))+(p*log2(p)+(l-p).*log2(l-p))meshz(w,p,h)titleC互信息J;ylabel('H(w,p,h)')四、实验报告要求•简述实验目的；•简述实验原理；•分别绘制二元信源和三元信源的爛及平均互信息量图形。通过图形分析他们的特点。实验2信道容量仿真一、实验目的•熟悉工作环境及Matlab软件；•理解信道容量的含义。二、实验原理＞离散信道的数学模型离散信道的数学模型一般如图6」所示。图小输入和输出信
7、号用随机矢量表示，输入信号为X=(XI,X2,...,XN),输出信号为Y=(Yl,Y2,...,YN)；每个随机变量Xi和Yi又分别取值于符号集A二{al,a2,ar}和B={bl,b2,bs},其中r不一定等于s；条件概率P(ylx)描述了输入信号和输出信号Z间的统计依赖关系，反映了信道的统计特性。A信道aX**YX=(X
8、,X2，...,XJP(yIX)丫=(也,•.必)离散信道模型A二元对称信道这是很重要的一种特殊信道(简记为BSC),。它的输入符号X取值于{0,1},输岀符号Y取值于{0,1},r=s=2,al=bl=(),a2
9、=b2=l,传递概率为I©)=P(010)=1-p=pP(b21^2)=P(111)=1—P=歹?(/?!k/2)=P(0ll)=pP(b2kz1)=P(H0)=p其小，户(1I0)表示信道输
