信息论与编码基础教程第一章

《信息论与编码基础教程第一章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、张丽英制作目录第1章绪论第2章信源及信源熵第3章信息率失真函数第4章信源编码第5章信道及信道容量第6章信道编码第7章*密码技术目录第1章绪论1.1信息论发展简史1.2信息论研究的目的和本门课主要学习的内容1.3信息论的概念及常用术语1.4通信系统的模型第1章绪论1.1信息论发展简史我国古代“烽火告警”是一种最早的快速、远距离传递信息的方式；造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化；电报、电话、电视的发明，再次引导了信息加工和传输的革命；1.1信息论发展简史贝尔麦克斯韦20世纪后半叶

2、，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。1.1信息论发展简史一位美国科学家在诗中这样描述：没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。可见信息的重要性。1.1信息论发展简史这一成果于1948年以“通信的数学理论”（AMathematicalTheoryofCommunication）为论文题目公开发表。这是一篇信息论开创

3、性的权威论文，为信息论理论建立了基础。1.1信息论发展简史1951年，美国无线电工程师协会（InstituteofRadioEngineers，IRE）成立了信息论组，1955年正式出版了信息论汇刊。香农等科学家在其发表了许多重要文章。1948年香农在论文中提出了无失真信源编码定理，给出了简单的编码方法——香农码。1952年费诺（Fano，R.M.）和哈夫曼（Huffman，D.A.）分别提出了各自的编码方法，并证明其方法都是最佳编码法。信息论的发展：1.1信息论发展简史1959年，香农在发表的“保真度准

4、则下离散信源编码定理”（CodingTheoremsforaDiscreteSourcewithaFidelityCriterion）一文中，系统地提出了信息率失真理论和限失真信源编码定理。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。1.1信息论发展简史20世纪60年代，信道编码技术有了较大发展，成为信息论的又一重要分支，它把代数方法引入到纠错码的研究中，使分组码技术达到了高峰，找到了可纠正多个错误的码，提出了可实现的译码方法；同时卷积码和概率译码也有了重大突破。1.1信息论发展简史1

5、961年，香农的“双路通信信道”（Two-wayCommunicationChannels）论文开拓了多用户信息理论的研究。到20世纪70年代，有关信息论的研究，从点与点间的单用户通信推广发展到多用户系统的研究。1972年，TCover发表了有关广播信道的研究，以后陆续进行了有关多接入信道和广播信道模型和信道容量的研究。1.1信息论发展简史近30多年来，这一领域的研究十分活跃，大量的论文被发表，使多用户信息论的理论日趋完整。近几年，随着计算机技术和超大规模集成电路技术的发展，信道编码，如Turbo码、LD

6、PC等编解码取得了重大突破。Turbo码、LDPC采用长码、交织技术、迭代解码技术进行编解码，从而提高了编码效率和纠错能力。1.1信息论发展简史目前，信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到医学、生物学、心理学、神经生理学等自然科学，甚至语言学、美学等领域。信息论已成为涉及范围极广的信息科学。1.1信息论发展简史1、信息论研究的目的：高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。1.2信息论研究的目的和内容1.2信息论研究的目

7、的和内容2.本门课主要研究的内容（1）离散信息的度量与离散信源；（2）连续信息的度量与连续信源；（3）信息率失真函数；（4）无失真信源编码、限失真信源编码；（5）离散无记忆信道容量；（6）加性白噪声（AWGN）信道容量；（7）有噪信道编码定理；（8）差错控制编码；（9）密码技术。1.2信息论研究的目的和内容1.3信息论的概念及常用术语1、信息论的定义1）狭义信息论（又称为香农信息论）信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容量、干扰对信息

8、传输的影响等方面的知识。1.3信息论的概念及常用术语2）广义信息论信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。1.3信息论的概念及常用术语2．信息、消息、信号及其区别1）信息香农定义:信息是事物运动状态或存在方式的不确定性的描述。信息的基本概念在于它的不确定性，任何确定的事物都不会有信息。1