GBT5271.16-1986数据处理词汇16-部分信息论.pdf

《GBT5271.16-1986数据处理词汇16-部分信息论.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中华人民共和国国家标准UDC681.3.001.4数据处理词汇GB5271.16一8616部分信息论Dataprocessing一VocabularySection16:Informationtheory1概述1.1引言本词汇包括约__十个部分，本部分主要涉及香农信息论，,L包括对信自、论作般介绍所使用的摧本术语，以及在实际应用中极其有用的派生定量术语本部分始终使用一种形式的表述法，但其目的不`L使这种表述法标准化，也不是为别的出版物提供先例本词汇的这一部分等效采用了国际标准ISO2382/16--1978((数据处理一词汇一IG部分:信t!论》。12范围

2、本词汇选出了有关数据处理领域中些概念的术语及其简明定义，并阐明了不同慨念之间的关系、以便于国内交流和国际交往词汇涉及数据处理的各个上要方面，其中包括ii要的处理过程和所用设备的类型、数据的表示、数据的组织、数据的描述、计算机的程序设计和操作、外{hl设备、数据通信及其他的特殊应用1.3适用范[N1本标准适用于有关电子计算机及信急处理各个领域的设ill,生产、使用、维护、管理，科研、教学和出版等方面。2遵循的原则和规则以卜各项规则已在GB5271.1-85《数据处理词汇01部分基本术清》中详细说明，‘臼们同样适用于本部分，这里不再重复，只将其各项的标题列出如

3、下:2.1词条的定义;2.2词条的组成;2.3词条的分类;24术语的选择和定义的用语;2.5多义术语;2.6缩写;2.了圆括号的用法;2.8方括号的用法;2.9黑体字术语和星号在定义中的用法;2.10拼法;2.11索引表的编制。国家标准局1986-07-31发布19870501实施GB5271.16一863术语和定义16信息论16.01一般术语16.01.01信息论informationtheory研究信息测度及其性质的学科分支16.01.02通信论communicationtheory研究在噪声和其他十扰存在时，消息传输的概率特性的数学分支16.01.0

4、3信息测度measureofinformation随机事件集合中的个事件或序列事件出现概率的一个适_i的函数;l::在信k!、论中，“事川一”这个术语和概t:.论中所川的意义相问例如，个事件可能是:集合中一个给定元素的出现;或者在消已的给定位置{_一个特定字符或个特定字的出现16.02消息及其通信16.02.01消息(用r信仓论和通信论〕message(ininformationtheoryandcommunicationtheory)用于传送信息的有序*字符列‘16.02.02消息源messagesource信息源informationsource通信系

5、统中发出消息的那部分16.02.03消息宿mess昭esi血通信系统中接收消息的那~一部分16.02.04信道(用于通信论)channel(incommunicationtheory)通信系统中连接消息源和消息宿的那一部分。91:!;可能在iii.L.源与信道输入之间插入一个编码器，同时在信道输出与0Q.宿之'01%i入个解码器。般说来，这两者都不是信道的部分ft某此场合F它们可以分别被肴作是消息源和消息宿的一部分_2在香农信L.论中，信逍叮用-Al杀件概率来表征，这组条件慨率是:‘宁ii.L,源发出任午给定的消息时，消息宿可能收到的所有各种消1!、出现的

6、条件概率-16.02.05对称二进制信道symmetricbinarychannel一种信道，用于传送二进制字符组成的消息而日具有下述性质:任一字符变为另字符的条件概率是相等的16.02.06平稳消息源stationarymess昭esource平稳信息源stationaryinformationsource每一消息的出现概率与出现时间无关的消息源、GB5271.16一8<:16.03基本定量术语16.03.01决策量decisioncontent从有限个互不相容事件中，选取一个给定事件所需的决策次数的对数测度其数学表述为:Ho--logan式中:n-件的

7、数日、例:见16.03末尾的例r、日_!}6.川.03的日也适用P本定义2对数的h.E决定了所川的单位3决策t,"与务书件出i'Ig的概书无关.州在装些应用中也可以认为这此概率是相等的16.03.02信息量informationcontent‘个有确定概率的事件出现时所给出的信息测度其数学表述为:事件x‘的这一测度I(x)是x的出现概率”(x〕倒数的对数，即1(x)二log=logap(xj)例:见16.03末尾的例子〔16.03.03嫡entropy平均信息量meaninformationcontentaverageinformationcontent在

8、确定概率的有限个互不相容事件组成的完备事件集中，由任一事件出现所给