信息论大复习(2010-5-31)红字部分

《信息论大复习(2010-5-31)红字部分》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章绪论主要内容：信息通信系统模型信息论的形成和发展信息论的应用信息论的数学基础1.1信息信息论也叫做“通信的数学理论”，是应用近代数理统计方法研究信息的传输、存储与处理的科学。迄今为止，信息并没有形成一个很完整的系统的概念。信息和消息并不是一回事，不能等同。物质、能量和信息是构成客观世界的三大要素。信息必须依附于一定的物质形式，如文字、声波、电磁波等。这种运载信息的物质，称为信息的载体。一切物质都有可能成为信息的载体。概率信息、香农信息、狭义信息。信息表征信源的不确定度，但它不等同于不确定度，而是为了消除一定的不确定度必须获得与此不确定度相等的信息

2、量。信息的性质：（1）信息是无形的；（2）信息是可共享的；（3）信息是无限的；（4）信息是可度量的。数据是指能够被计算机处理的数字、字母和符号等具有一定意义的实体。信号是数据在信道中传输时的具体表现形式，一般表现为电信号。信息可通过两种方式被发送：模拟方式和数字方式，这两种方式均使用电压产生相应的信号。1948年，香农在“贝尔系统技术”杂志上发表了两篇有关“通信的数学理论”的论文，在这两篇论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要的带有普遍意义的结论，并由此奠定了现代信息论的基础。在香农信息论的指导下，为提高通信系

3、统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明;1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简洁证明并描述了码率、码长和错误概率的关系，1972年Arimoto和Blahut提出了信道容量的迭代算法;1956McMillan证明了Kraft不等式;1952年Fano码，Huffman码;1976Rissanen算术编码;1977，78Ziv和Lempel的LZ算法;1950年

4、汉明码;1960年卷积码的概率译码，Viterbi译码;1982年Ungerboeck编码调制技术;1993年Turbo编译码技术;1959年，Shannon提出率失真函数和率失真信源编码定理;1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。信息论的数学基础主要是概率论其次是微积分和线性代数概率概率是从随机试验中的事件到实数域的函数，用以表示事件发生的可能性。如果用P(A)作为事件A的概率，Ω是试验的样本空间，则概率函数必须满足如下公理：公理1：P(A)≥0公理2：P(Ω)=1公理3：如果对任意的i和j(i

5、≠j)，事件Ai和Aj不相交(Ai∩Aj＝Φ)，则有：全概率公式设Ω为试验E的样本空间，B1,B2,…，Bn为Ω的一组事件，且它们两两互斥，且每次试验中至少发生一个。即：则称B1、B2、…Bn为样本空间Ω的一个划分。设A、B为任意两个事件，则：P(A+B)=P(A)+P(B)-P(AB)P(A+B+C+D)=?概率的一般加法公式贝叶斯法则的意义贝叶斯公式给出了“结果”事件A已发生的条件下，“原因”事件B的条件概率。对结果事件的任何观测都将增加我们对原因事件B的真正分布的知识。4在空战中甲机先向乙机开火，击中的概率是0.2；若乙机未被击中，就进行还击，击

6、中甲机的概率是0.3；若甲机未被击中，则再进攻乙机，击中的概率是0.2。求在这几个回合中：1）甲机被击中的概率；2）乙机被击中的概率。如果不停射来射去，直到一方被击中，概率各为多少？如果甲机和乙机的命中率都是0.1,不停射来射去，直到一方被击中，概率各为多少？说明什么道理?思考题思考题7甲乙两人棋艺水平相当，参加象棋对抗赛。设立奖金1000元，规定谁先赢三盘谁获得全部奖金。现两人下了三盘因故未下，比赛结果甲两胜一负。问这1000元奖金应该如何分配？（注：和棋不计）8甲乙两人棋艺水平相当，参加象棋对抗赛。设立奖金1000元，规定谁多赢三盘谁获得全部奖金。

7、现两人下了三盘因故未下，比赛结果甲两胜一负。问这1000元奖金应该如何分配？（注：和棋不计）自信息和条件自信息量香农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。因此，对于收信者来说，通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；“信息”是事物运动状态或存在方式的不确定性的度量，这就是香农关于信息的定义。信息的度量（自信息量）和不确定性消除的程度有关，

8、消除了多少不确定性，就获得了多少信息量；不确定性就是随机性，可以用概率论和随机过程来测度不确定