信息论与编码1

《信息论与编码1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度1本章重点离散/连续信源熵和互信息第二章信源及信源熵本章难点离散序列有记忆信源的熵2信源产生消息(符号)、消息序列和连续消息的来源产生随机变量、随机序列和随机过程的源。在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源信源的基本特性：具有随机不确定

2、性。2.1信源的描述和分类32.1信源的描述和分类一、香农信息论的基本点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源离散信源连续信源42.1信源的描述和分类连续信源连续信源是指发出在时间或幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。离散

3、信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源5三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi)为符号xi的先验概率单符号离散信源的数学模型—概率空间a,b,c,…z显然有，62.1.1无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。例如扔骰子，每次试验结果必然是1～6点中的某一

4、个面朝上。用一个离散型随机变量X来描述这个信源输出的消息。7发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息离散无记忆信源8连续无记忆信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的概率空间随机取一节干电池测其电压值作为输出符号,符号取值为[0,1.5]之间的所有实数。该信源就是发出单符号的连续无记忆信源9发出符号序列的信源设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

5、xn}这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源10随机序列的概率当信源无记忆时11一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。表述有记忆信源要比表述无记忆信源困难得多离散有记忆信源所发出的各个符号的概率是有关联的。发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.1.2有记忆信源用信源发出的一个符号序列的整体概率(即联合概率

6、)反映有记忆信源的特征一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号12此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征表述的复杂度将随着序列长度的增加而增加。实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。13离散信源的统计特性①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的）②在形成消息时，从

7、符号集中选择各个符号的概率不同。③组成消息的基本符号之间有一定的统计相关特性。142.1.3马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。用概率意义表达为152.2离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？16什

8、么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？2.2离散信源熵和互信息17定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的函数，它必须也是一个随机量。18自信息量的单位的确定在信息论中常用的对数底是2，信