资源描述：
《信息论与编码理论第一章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论基础参考书：ElementsofInformationTheory，ThomasM.Cover清华大学出版社影印版应用信息论基础朱雪龙，清华大学出版社信息论-基础理论与应用，傅祖芸，电子工业出版社课程网站:ste.xidian.edu.cn/xxl/kcjs.htm第一章引论第一章引论1.1通信系统模型1.2信息论研究的中心问题及发展1.3shannon信息论的局限性1.4信息的广义性1.1通信系统模型通信系统模型信源编码器信道译码器信宿干扰源通信系统的基本任务要求可靠:要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端有效:用尽可能短
2、的时间和尽可能少的设备来传输最大的消息通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器信息、消息和信号信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素消息是信息的载体，相对具体的概念，如语言，文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等1.2信息论研究的中心问题和发展Shannon信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统信息论的研究内容狭义信息论
3、（经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A.N.Kolmogrov，1963)。已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。几乎
4、无错地经由Gaussian信道传信对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM)CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术信息论几个方面的主要进展Ⅰ．信源编码与数据压缩Ⅱ．信道编码与差错控制技术Ⅲ．多用户信息论与网络通信Ⅳ．多媒体与信息论Ⅴ．信息论与密码学和数据安全Ⅵ．信息论与概率统计Ⅶ．信息论与经济学Ⅷ．信息论与计算复杂性Ⅸ．信息论与系统、控制、信号检测和处理Ⅹ．量子信息论Ⅺ．Shannon的其它重要贡献参见课程网站:信息论进展50年I信源编码与数据压缩-关键理论进展的十个里程碑[Kie
5、ffer1993]无扰信源编码的诞生(1948,C.E.Shannon)。Huffman算法的发现(1952,D.A.Huffman)。建立Shannon-McMillan定理(1953,B.McMillan)。发现Lloyd算法(1957,S.P.Lloyd,1982年发表,)。率失真理论系统化(1959,C.E.Shannon,)。KolmogorovComplexity概念诞生(1964,A.N.Kolmogorov,)。通用信源编码理论系统化(1973,L.D.Davission)。多端信源编码理论诞生(1973,D.Slepian和J.K.Wolf)。第一
6、个实际的算术编码方案(1976,J.Rissannen和R.Pasco1976博士论文)。发现Lempel-Ziv码(1977,J.Ziv和A.Lempel)。信道编码与差错控制技术1．Shannon信道编码定理和Shannon极限。Shannon编码信道定理:RC不存在有编码方法实现满足误码率要求的速率为R的传信。Shannon证明码长N大时，随机选择的码以很高概率为好码。问题：Shannon的证明是非构造性，如何构造好码实现定理目标?实现ML译码的复杂性随N呈指数增长。Ⅲ．多用户信息论与网
7、络通信(1)理论基础。两路通信系统(Shannon1961)。(2)理论进展。Cover,Schalkwijk,Van.derMeulen,Alswede,Slepian,Wolf,WynerLiao(UniverstyofHawaii),Han等。(3)技术成就。CDMA(Virerbi,Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(ratesplitting)、功率检测控制等(Verdu,ShamaiandRimoldi)。STC(Spacetimecode)，源于信息论考虑。线性网络编码合作编码技术过去50年中Shannon信息论
