二项分布熵的性质

《二项分布熵的性质》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、软件2012年第33卷第2期SOFTⅥRE国际IT传媒品牌=项分布熵的性质丁勇(南京医科大学数学教研室南京210029)摘要：本文证明了二项分布的熵有如下性质：设X～B(n，，对确定的n，当P<1时，熵随着P的增加而增大，当P>时，熵随二1着p的增加而减少，当P吉时，熵达到最大值；对确定的p，熵随着的增加而增加。对两个有相同或p的二项分布，方差相等时，它们的熵也相等；方差较大的二项分布对应的熵也较大。关键词：概率论；二项分布；熵；方差中图分类号：O21文献标识码：ADOI：10．3969~．issn．1003．

2、6970．2012．02．049TheCharactersofEntropyofBinomialDistributionDINGYlong(Deptartment．ofMa~ematics，NanjingMedicalUniversity,Nanjing210029)舳acis脚escussesm。haraclers0fentropyofbinomialdisuti。n．suppos。ndetheparametersinbin。mia1msbuti。n_F0ranycertainn，whenp圭，meentr。

3、pywn¨ncreasewimpincreases，whenp，meentr。pywi-increasewimpde．creases,whenp：1theentr叩yachieVesitsmaximumvalue，．Foranycenainp，theentr。pywi1lincreasewithnincreases．F。rt、v。bin。一mia1ibuti0“hichhaveequalizednorp，equalizedvariancewillleadtothesameentropy,biggervarian

4、cewillleadtolargerentropy．【Keywords】Probabilitytheoty；Binomialdistribution；Entropy；Variance0引言1948年香农给出了信息熵(以下简称为“熵”)的定义并开创了一门新学科：信息论⋯。近年来，由于数字计算机的广泛应用和通讯系统的能力极大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，信息熵的方法也得到大量的应用卿，从而推动其它新兴学科的进一步发展。二项分布是离散型概率分布中最常见的分布，本文

5、讨论二项分布熵的性质。1引理以下证明中用到如下公式：c：=，c：：+和当>0I~ln(1+)<。引理1对0

6、∑n-IcP(1-p)一·In=l+l石“‘n一k一．pZcP¨(1一p)～InCL144软件(您的文章得到院士的关注)丁勇：二项分布熵的性质=+cmpk(1_I1n～n-I1．-k-~In=n(1一p)In聆n¨∑=n0一p)Inn+n薯cp(1一p)．-k-mInn尼-+k1-一ln),-k-1Inn-kn1(1川佃2记一骞ck(1-p(雨n+lp)(。

7、一一-1n(七+1)一=lk=lP=∑Ck¨(1_p)一ln(+1)一，z∑n(十)p(1_p)一ln+1)一一1=1P"LkMpk-1(1-p)1n(七+1)一n-lp(1=I一p)一1n(豇+1)一∑n-Icp(1一p)一一1n(+1)一1n(+1)一一一1k=l1一PPn-1np：．ln(n+1)+n∑n-Ip¨(1一p)一ln(+1)1．一—艺cp(1一p)一_l1n(后+1)一ln(n+1)-1Pb1k=l1一PP：np~-l(+1)+cmpk(1-p)．-k-IIn(后+2)一∑n-!p(1一p)一

8、一·ln(

9、i}+1)一一12，0}；}n-I=，z_lln等一1≤n-I一一丢n-Ic：+lpk1～1nLk_】(1一1=1(1_卅=一。从而g(x)单调下降，又(1)：0，从而引理成立。2二项分布的熵及其性质设随机变量X～B(，p)，gPp(X=尼)=p(1一p)(=0，1，2，．一，n；0