信息论填空简答

《信息论填空简答》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、条件增加，随机变量的不肯定性下降,对应的爛减少设x={X],…Xn，-}为无记忆信源，则爛率比以戶H(XJ1H」X

2、冗余度」呵X

3、卜H」X

4、,相对冗砂两冈器〜信源译码器〜信宿1、设信源X是平稳的，则Rz(D)=limlR'(D)右端的极限。(存在)2、对离散无记忆信源，R/(D)=nR7(D),从而RD)_R；(D)°(N,=,W)(答案:=)•个随机变最X的任何D进即时码的平均码长L应满足3、设X为离散无记忆信源，则对任意的R>RZ(D),必存在J%凶,其中等号成立当且仅当D"=Pi二进对称信道的转移概率矩

5、阵为d(x,x)=汉明失真：平方失真：d(x,^(x・M一个(2朋，n)码，使Ed(xn,X")Do(2,=,W)(答案：<)4、设X〜卜J,失真测度为d(O,O)=d(1,1)=0,d(1,丄丄J2>0)=1,d(0J)=oo,则率失真函数R7(D)=o绝对值失真：W)*)r'(D)=1—丄［(1+2D)log(l+2D)—IDlog2D］；20；当2D<}当2D>1率失真函数R【(D)满足owR1(D)WH(x),R?(D)=o,当且仅当D>Dniax3•设一对随机变臺(XV)的联合分布为p(x,y)=Pr

6、{X=x,Y=y],xE力，ywy，则定义(X』)的联合爛H(X.Y)为a(x)二丄1-rlog(工[〃(无)『),厂>0,心1RI(D)=lim-Rn2(D)设信源x是平稳的，则…n存在随机变量经变换后，可微嫡的变化，设c为常数，则h(X+C)=h(X)为常数，则h(aX)=h(X)+log

7、a

8、如果用随机变量代表一个信源，则•爛就是它的平均不肯定的度量。设兀丘力，有概率p(x),则X的自信息定义为：I(X)信息的产生和发送者称之为信源。弱对称信道的信道容量为O香农在1948年首先证明了无记忆信源的渐近等分性并指

9、出该性质对平稳遍历信源也成立。相对D(PIIq)>=0,且等号成立的充要条件是d(x)=q(x)对所冇的兀丘力成立。(信道容虽)一个离散无记忆信道的信道容量定义为C=O信源〜信源编码器〜信道编码器〜信道〜信道译码H(X，Y)=_工工/心y)logp(x?y)5•设Xl,X2,...,Xn的联合分布为p(兀］，兀2,…暫)，则H(X”X2，..・,X〃)=》H(X,

10、X+・・，XJ/=!8.如果UTXT丫TV构成马氏链，则/(f7；V)—/(XV)。io.设随机变量X□p(x),定义X的厂阶嫡11.设/(“)是满足

11、f(m+h)

12、的汕倍。18.一副充分洗乱的扑克牌(52张)，从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源嫡为log?5219.信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。3.所谓信源是指.消息的來源4.信息论中用.冗余度来描述信源输出符号携带的信息的冇效程度。5•设西，花……，为无记忆信源，服从公共分布"(X)，当码率R=-logM>H(x)时，存在码率为/?的编码，使得当n/?—>°°时，误差概率pe—>06•随机过程的随机变量Z间相互独立称独立借源或独也遡。7.1个随机变量X

13、的任何D进即时码的平均码长/应满足8•哈夫曼编码的优点是编码方便易行效率高8.设x={a,b.l},其中！表示.一个词的结束符10.how_Much_wood_would_A_wood_chunck...中，用表示可利用信息的窗口12.Rl(D)为05D5%上的减函数。13.H(D)为[0,x)的旦函数。14.R‘(D)为「0.00)的连续函数。def15.X的可微商定义h(x)h(p)=-fP(X)logp(x)dxJR18.h(xIy)

14、误概率01，在一定的限制下码率/?达到最大，这个码率的上限就称为信道容量1.如果f是一个凸函数,X是取Z于X的一个随机变最,E表示数学期與，则Ef(x)()f(EX)o(2)2.信源的输出称为()。3.信源的输出通常是()。第当X],X2,…，X”,…为相互独立的随即变量序歹lj,且服从相同分布。Pr(X,=x)=P(x),xGx,对任意i成立，称它为()o