[理学]信息论-第3章多符号离散信源与信道

《[理学]信息论-第3章多符号离散信源与信道》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章多符号离散信源与信道内容提要3.1离散平稳信源的数学模型3.2离散平稳无记忆信源的信息熵3.3离散平稳有记忆信源的信息熵3.4离散平稳有记忆信源的极限熵3.5马尔可夫信源的极限熵3.6信源的剩余度和结构信息13.1离散平稳信源的数学模型基本概念多符号离散信源：由多个符号组成的时间（或空间）序列才能代表一个完整的消息的信源，称为多符号离散信源。多符号离散信道：相对于多符号离散信源来说，若信道的输入端输入一个由多个信源符号组成的时间序列所代表的消息，在信道的输出端相应以一定概率输出一个由同样个数的符号组成的时间序列所代表的消息，这种信道称为多符号离散信道。23.1离散

2、平稳信源的数学模型多符号离散信源的表示：多符号离散信源可用随机变量序列Xk(k=1,2,…)组成的时间序列来表示，其中Xk表示某一单位时间k信源发出的符号。注：多符号离散信源可看成时刻k(k=1,2,…)的单符号离散信源Xk(k=1,2,…)的时间序列。33.1离散平稳信源的数学模型离散平稳信源一般情况下，信源X的概率分布与时间k(k=1,2,…)有关设Q,T为两个任意时刻，若信源X的分布与时间无关，即有则把信源X称为N+1维离散平稳信源。43.1离散平稳信源的数学模型说明（符号集）表明N+1维离散平稳信源的1至N+1维联合概率分布不随时间的推移而变化，对时间的起点来说

3、是平稳的。53.1离散平稳信源的数学模型2.数学模型信源符号集，N维离散平稳信源，63.1离散平稳信源的数学模型数学模型信源空间其中73.1离散平稳信源的数学模型推广不妨假定：多符号离散平稳信源发出的所有信息都由N个符号组成；多符号离散平稳信源发出的长度为N的不同消息间相互统计独立、互不相关，因此可将N维离散稳定信源在时间上延长到无穷序列中，每N个随机变量看作一组，每组代表一个完整的消息。N维离散平稳信源称为信源的N次扩展。8一.离散平稳无记忆信源概念定义3.2.1设信源X输出符号集，r为信源发出的消息符号个数，每个符号发生的概率为。这些消息符号彼此互不相关，且3.2离

4、散平稳无记忆信源的信息熵则X称为离散无记忆信源。9若N维离散平稳信源中，各时刻随机变量之间相互统计独立，则我们将称为N维离散平稳无记忆信源。对N维离散平稳无记忆信源，有3.2离散平稳无记忆信源的信息熵103.2离散平稳无记忆信源的信息熵N维离散平稳无记忆信源信源空间其中111.最简单离散信源用一维随机变量X描述，其数学模型为且特点:3.2离散平稳无记忆信源的信息熵二离散无记忆信源的信息熵123.2离散平稳无记忆信源的信息熵2.离散无记忆信源的N次扩展信源(1)离散无记忆二进制信源的二次扩展信源二次扩展信源输出的消息符号序列是分组发出的。每两个二进制数字构成一组，即等效信

5、源的输出符号为00，01，10，11。133.2离散平稳无记忆信源的信息熵二次扩展信源的数学模型为且有，式中，143.2离散平稳无记忆信源的信息熵(2)离散无记忆二进制信源X的三次扩展信源三次扩展信源共输出23=8个消息符号。概率空间为推广：离散无记忆二进制信源的N次扩展信源共有2N个符号。153.2离散平稳无记忆信源的信息熵(3)离散无记忆信源的N次扩展定义3.2.2设X是一个离散无记忆信源，其概率空间为其中，q为信源符号个数，pi=P(X=ai),i=1,2,,qX的N次扩展信源XN是具有个qN消息符号的离散无记忆信源，其数学模型为163.2离散平稳无记忆信源的信

6、息熵(3)离散无记忆信源的N次扩展其中173.2离散平稳无记忆信源的信息熵3.离散无记忆信源的N次扩展信源的熵定理3.2.1离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即这表明离散无记忆信源X的N次扩展信源每输出一个消息符号（即符号序列）所提供的信息熵是信源X每输出一个消息符号所提供信息熵的N倍。P177例3.118一离散平稳有记忆信源的概念若离散平稳信源在各时刻发出的符号之间并不是统计独立的，前一刻发出的符号，依某种统计规律影响到后续发出的符号的可能性，即任一时刻发出的符号对这一时刻之前发出的符号是“有记忆”的，那么信源X称为是离散平稳有记忆信源；由X

7、扩展而成的多符号离散平稳信源称为N维离散平稳有记忆信源。3.3离散平稳有记忆信源的信息熵19N维平稳有记忆信源有平稳的特性设Q和T是任意两个时刻，即有所以，有3.3离散平稳有记忆信源的信息熵20进而可得表明：N维离散平稳有记忆信源的各维条件概率也是平稳的，与起始时刻无关，不随时间的推移而发生变化。3.3离散平稳有记忆信源的信息熵213.3离散平稳有记忆信源的信息熵N维离散平稳有记忆信源信源空间其中N维离散平稳有记忆信源的概率空间是一个完备集。223.3离散平稳有记忆信源的信息熵二离散平稳有记忆信源的信息熵1二维离散平稳有记忆信源的信息熵2