信息论与编码技术new

《信息论与编码技术new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Chap1思考题与习题参考答案1.1信息论与编码技术研究的主要内容是什么？信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般学科。编码技术研究的主要内容是如何既可靠又有效地传输信息。1.2简述信息理论与编码技术的发展简史。1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。在这两篇论文中，他用概率论测度和数理统计的方法系统地讨论了通信的基本问题，得出了及格重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。从1948年开始，信息论的出现引起了一些有名的数学家如柯尔洛

2、夫、A.Feinstein、J.Wolfowitz等人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数学基础。在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并形成一门独立的分支——纠错码理论。1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。从此，发展成为信息率失真编码理论。香农1961年的论文“双路通信信道”开拓了网络信息论的研究。现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地

3、渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。1.3简述信息与消息、信号的定义以及三者之间的关系。信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来成为消息。把消息变换成适合信道传输的物理量，这种物理量称为信号。它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。1.4简述一个通信系统包括的各主要功能模块及其作用。通信系统主要分成下列五个部分：（1）信息源。信源是产

4、生消息和消息序列的源。（2）编码器。编码是把消息变换成信号的措施。（3）信道。信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。（4）译码器。译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。（5）信宿。信宿是消息传送的对象，即接收消息的人或机器。1.5你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？略。1.6什么是事物的不确定性？不确定性如何与信息的测度发生关系？由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。所以在通信以前，收信者存在“疑义”和“不知”，即不确定性。用数学的语言来讲，不确定就是随机

5、性，具有不确定性的事件就是随机事件。因此，可运用研究随机事件的数学工具——概率论和随机过程来测度不确定性的大小。1.7试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。略。1.8在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？略。Chap2思考题与习题参考答案2.1同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“两骰子面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：同时扔一对均匀

6、的骰子，可能呈现的状态数有36种，各面呈现的概率为1/6，所以36种中任何一种状态出现的概率都是相等，为1/36。（1）设“两骰子面朝上点数之和为2”为事件A。在36种情况中，只有一种情况，即1+1。则PA()1/36=IA()=−log()PA=log36≈5.17(比特)2（2）设“两骰子面朝上点数之和为8”为事件B。在36种情况中，有六种情况，即5+3，3+5，2+6，6+2，4+4。PB()5/36=则36IB()=−log()PB=log≈2.85(比特)25（3）设“两骰子面朝上点数是3和4”为事件C。在36种情况中，有两种情况，

7、即3+4和4+3。PC()2/36=则IC()=−log()PC=log18≈4.17(比特)22.2同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求：(1)事件“3和5同时出现”的自信息量；(2)事件“两个l同时出现”的自信息量；(3)两个点数之和(即2，3，⋯，12构成的子集)的熵；(4)事件“两个骰子点数中至少有一个是1”的自信息量。解：同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，总共有36种可能的状态，每种状态出现的概率都是1/36。（1）设“3和5同时出现”为事件A。则在36种状态中，有两种可能的情况，即5+3和3

8、+5。则PA()2/36=IA()=−log()PA=log18≈4.17(比特)2（2）设“两个l同时出现”为事件B。则在36种状态中，只有一种可能情况，即1+1