信息论与编码-西南民族大学

《信息论与编码-西南民族大学》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码教师：向强手机：13699062690E_mail:xqiang_0426@163.com西南民族大学电信学院SWUN1主要参考文献《信息理论与编码》姜丹、钱玉美编著中国科技大学出版社1992版《信息论—基础理论与应用》傅祖芸编著电子工业出版社2001年版《信息论与编码方法》西南交通大学勒蕃教授著《信息论与编码》陈运、周亮、陈新编著电子工业出版社2需具备的相关数学知识：概率与统计理论矩阵理论需了解的相关通信方面知识：通信原理3第一章引言第一节信息的一般含义信息的重要性：当代文明的“三大支柱”信息科学、材料科学、能源科学信息的认识1928

2、年美国数学家哈特莱（Hartley）在《贝尔系统电话杂志》发表题为“信息传输”的论文，认为“信息是选择的自由度”。41948年，美国数学家香农（C.E.Shannon）在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文，认为“信息就是一种消息”。美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的《控制论与社会》一书中认为“信息是人与外界相互作用的过程中所交换的内容的名称》。以上对信息的认识都不够准确，具有局限性。信息的含义：1.“信息”是作为通信的消息来理解的5信宿信道信源图1.1通信的简化模型62.信息是作为运算内容而明

3、确起来的计算机某种过程输入信息输出信息补充信息图1.2计算机的运算或控制机理3.信息是作为人类感知的来源存在的7信息论的建立作为人类活动中最为普遍的现象之一，人们希望信息的传递与交换能够又多、又快、又好、又经济，希望对信息进行定量分析。1924年奈奎斯特在着手进行影响电报传递速度时，就察觉到信息传输速度与频带宽度有关系。第二节信息论的基本思路81928年，哈特莱用概率的观点来分析信息传输问题，他指出，如果用D个不同符号构成字，每个字数包括N个符号时，共可以组成个不同的字，则信息的数量。1948年，仙农发表了一篇《通信的数学理论》，标志着信息论的正式

4、诞生。第一次提出了信息量的定义，并在离散信道的信息传输容量的研究方面做出了卓越的贡献维纳提出的统计理论、滤波理论成为信息论的一个重要分支。9狭义信息论（香农信息论）1948年C.E.Shannon香农（信息论奠基人）发表了题为“通信的数学理论”的论文。运用通信技术与概率论、随机过程、数理统计的方法系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：阐明通信系统传递的对象就是信息对信息给予科学的定量描述提出了信息熵的概念101.形式化假说“消息”与“信息”消息：以文字、语言、图象、图表等形式，对客观物质运动状态、人的思维状态的表述。形式、语

5、义、语用通信的功能：表述精确信息—“通信的消息”—形式112.非决定论观点通信的原因：①对方不知道②本人有疑问“不知道”、“有疑问”→知识上的“不确定性”通信对象的一般特性统计特性数学工具概率论与数理统计3.不确定性信息：数量上等于通信前后“不确定性”的消除量（减少量）。12“不确定性”“不确定性”是概率的某一函数f(p(x))“狭义信息量”（I(x)“不确定性”的消除量）也一定可以用概率的某一形式表示：I(x)=f(p(x))→“多种结果的可能性”→用概率来度量13第三节信息论研究的对象、目的和内容1.通信系统的一般模型信源编码器信道译码器信源噪

6、声源图1.3通信系统模型信号信号+干扰干扰14由于互联网的建立和发展，对安全和保密的要求信源信源编码信道编码信道信道译码信源译码信宿加密编码加密译码噪声源图1.4信息传输系统模型15实际上数字信息传输系统或存储系统的模型P3-图1—3及其各部分的作用和特点（P3—P5有各个部分的解释）162.信息论的研究目的（1）可靠性（2）有效性（3）保密性3.信息论的研究内容（1）狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。17香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffm

7、an码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码图1.5香农信息论的科学体系18（2）一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。19信息论与编码理论的关系信息论的发展和编码理论的发展始终是相

8、互依赖、相互促进的，实际上，在信息技术的各个环节----提取，采集，发送，传递，接收，检测，量度，变换，存储，显示和处理中