资源描述：
《信源与信息熵课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信源与信息熵第二章12.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度内容2本章重点信源熵和离散/连续互信息本章难点离散序列有记忆信源的熵32.1信源的描述和分类4信源信源产生消息(符号)、消息序列和连续消息的来源产生随机变量、随机序列和随机过程的源。在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源信源的基本特性：
2、具有随机不确定性。5香农信息论的基本点用随机变量或随机矢量来表示信源用概率论和随机过程的理论来研究信息6{信源离散信源:文字、数据、电报—随机序列连续信源:话音、图像—随机过程信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类连续信源指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。7离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫
3、信源信源的分类离散信源指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。82.1.1无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。用一个离散型随机变量X来描述这个信源输出的消息。9发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息离散无记忆信源
4、10信源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi):xi的先验概率单符号离散信源的数学模型—概率空间a,b,c,…z11离散信源的统计特性离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的）在形成消息时，从符号集中选择各个符号的概率不同。组成消息的基本符号之间有一定的统计相关特性。12信源的描述连续信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的概率空间随机取一节干电池测其电压值作为输出符号,符号取值为[0,1
5、.5]之间的所有实数。该信源就是发出单符号的连续无记忆信源13信源的描述发出符号序列的信源设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…xn}这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源14信源的描述随机序列的概率当信源无记忆时15一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。表述有记忆信源要比表述
6、无记忆信源困难得多离散有记忆信源所发出的各个符号的概率是有关联的。发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.1.2有记忆信源用信源发出的一个符号序列的整体概率(即联合概率)反映有记忆信源的特征一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号16概率论基础无条件概率、条件概率、联合概率的性质和关系⑴⑵⑶17概率论基础无条件概率、条件概率、联合概率的性质和关系⑷⑸⑹182.1.3马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关
7、外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。条件概率19马氏链的基本概念一阶马尔可夫信源：若把有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。20马氏链的基本概念令si=(xi1,xi2,…xim)xi1,,xi2,…xim∈(a1,a2,…an)状态集S={s1,s2,…,sQ}Q=nm信源输出的随机符
8、号序列为：x1,x2,…xi-1,xi…信源所处的随机状态序列为：s1,s2,…si-1,si,…例：二元序列为…01011100…考虑m=2，Q=nm=22=4s1=00s2=01s3=10s4=11变换成对应的状态序列为…s2s3s2s4s4s3s1…21马尔可夫信源设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为：pij(m)=p{Sm+1=sj
9、Sm=si}=p{sj
10、si}pij(m)：基本转移概率（一
