l12 rate distortion theory(2)

《l12 rate distortion theory(2)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、教学内容信息论基础IntroductionandPreviewEntropyRelativeEntropyandMutualInformationEntropy,RelativeEntropy,andMutualInformation金明录教授AsymptoticEquipartitionPropertyEntropyRatesofaStochasticProcessEntropyRatesofaStochasticProcessDataCompressionChannelCapacityDifferenti

2、alEntropyGaussianChannelRateDistortionTheoryNetworkInformationTheory13-14学年第学第二学期期DUT信息论基础金明录教授DUT信息论基础金明录教授高斯信源的信息率失真函数信息论基础本章内容提要Example量化与失真最佳量化与Lloyd-Max算法~Ed(x,~x)DXXconditionkkGaussianquantize信源表示(编码)sourcestep信息率失真函数几种特殊离散信源的信息率失真函数高斯信源的信息率失真函数

3、2x12保真度准则下的信源编码定理2p(x)e2信息率失真函数与信息价值信道容量与信息率失真函数的比较2abx信息论“三大定理”总结bKarlFriedrichGauss122Paxbedx1777-18552aDUT信息论基础金明录教授高斯信源的信息率失真函数信息论基础高斯信源的信息率失真函数信息论基础quantizationQuantizationforGaussianXwithmean02(x)12p(x

4、xininterval(a,b))p(x)e22

5、=1/~ForsmalltheentropyofcanbecalculatedasXab~H()H(X)=-p(x)log2p(x)Forsmall=-p(x)log2p(x)-p(x)log2AverageQuantizationerror:=-p()gp(x)log2p(p()x)dx-log2p(p()x)dx/2=½log2(2πe)+log2/1212Dxdx½log22/DforD=2/1212/2AssumingXisuniformlydistribu

6、tedwithinConclusion:forD=2weassumethesourceoutputisalways0aninterval.122log/D0Ddoublingreducesrepresentationlengthwith1bit,butincreasesDwithafactorof4(6dB)RD22xxg20D这就是说：量化精度减少1个比特，信噪比就下降6dB0x高斯信源的信息率失真函数信息论基础高斯信源的信息率失真函数信息论基础•当D=σ2时，R(D)=0：1

7、22log/D0DRD2xx122这就是说，如果允许失真（均g2log/D0D2log2x/D0Dx0DRD2Dxg方误差）等于信源的方差，只20Dx需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当信源均值不为0时，•当D=0时，R(D)→∞：仍有这个结果，因为这点说明在连续信源情况下，高斯信源的熵只与随要毫无失真地传送信源的输出机变量的方差有关，是不可能的。即要毫无失真地与均值无关。传送信源的输出必须要求信道具有无限大的容量；高斯信源的信息

8、率失真函数信息论基础高斯信源的失真信息率函数DistortionRateFunction信息论基础•当0

9、σ2时，R(D)=1比特/符号：这就是说在允许均方误差小于或等于0250.25σ2时，连续信号的每个样本值最少需用一个二进制符号来传输。高斯信源的信息率失真函数信息论基础高斯信源的信息率失真函数信息论基础连续有记忆信源连续非高斯信源•例：对连续有记忆信源R(D)函数计算相当复杂，下面考虑一个简单的特例：