现代汉语语法信息词典的收词原则

《现代汉语语法信息词典的收词原则》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、《现代汉语语法信息词典》的收词原则 王惠chswh@nus.edu.sg 关键词：现代汉语、语法词典、收词原则 一.前言 《现代汉语语法信息词典》是一部供计算机分析与生成汉语句子而使用的机器词典。词典计划收词6万左右,所收条目包括:名词n,时间词t,处所词s,方位词f,数词m,量词q,区别词b,代词r,动词v,形容词a,状态词z,副词d,介词p,连词c,助词u,语气词y,象声词o,叹词e,前接成分h,后接成分k,成语i,简称略语j,习用语l,语素g,非语素字x,标点符号w等26类。其中前18类是语言学界普遍认可的词,

2、后8类只是借助这些术语对词典中所收的非词成分进行归类[1]。为行文方便,本报告中将对词典中收录的这26类成分都统称为“词语”。北京大学计算语言学研究所从1986年起就开始研制《现代汉语语法信息词典》。该项研究先后纳入国家“七五”攻关项目和“八五”科技攻关项目《中文信息处理技术应用开发平台》[3]的总规划,并与国家自然科学基金项目“自然语言的计算理论”相配合。经过七年的连续开发,目前,该研究已取得重要的阶段性成果,词典已初步完成了五万词的收录、归类及属性描述。本报告就是在这些实际工作经验的基础上,详细介绍这部电子词典的

3、收词原则。 二.收词原则 词典的收词原则依赖于其应用目标。《现代汉语语法信息词典》(以下简称“电子词典”)是供计算机使用的,与供人使用的词典相比较,收词原则应有所区别;本词典又是一部面向中文信息处理各个领域的通用性词典,它不依赖于任何特定的语言处理模型及算法,因而,与一般依赖于某个具体处理系统的电子词典相比较,收词原则也有很大的区别。下面从6个方面对这部电子词典的收词原则进行介绍:1.规范原则（1）.符合国家标准《信息处理用现代汉语分词规范》的词语，都属于电子词典的收词范围。根据该《信息处理用现代汉语分词规范》中对“

4、分词单位”的定义：“汉语信息处理使用的、具有确定的语义或语法功能的基本单位。它包括本规范的规则限定的词和词组”。语言学中所定义的词：“最小的能自由运用的语言单位，首先是电子词典的收录对象。在目前已收录的五万余条词语中,词占95%以上,包括了全部的18个基本类。对于其中的9个封闭类：方位词、量词、代词、副词、介词、连词、助词、语气词、叹词等,电子词典尽可能全部收录。而另外9个开放类,名词、时间词、处所词、动词、形容词、状态词、区别词、数词、象声词等,由于其数目众多,电子词典不可能都收录,而是还要进一步参照下面将要介绍的

5、其它几个收词原则(如高频原则、稳定原则、词部件原则等)进行取舍。除了18类基本词以外,符合《信息处理用现代汉语分词规范》的成语、习用语、缩略语3类比词大的语言成分也属于电子词典的收录范围。这些固定短语大多数是由语素和词组合而成,其构成成分和格式都是在汉语的长期发展中形成的,不可随意切割,而且其意义也带有整体性。在句子中所起的作用与词相当,是汉语词汇体系的重要成员。如: 成语:胸有成竹、走马观花、子虚乌有固定短语习用语:跑龙套、卖关子、总而言之简称略语:三好、人大 由于这3类固定短语数量也非常可观,电子词典对其处理策略

6、与处理开放类的策略相同,只选收其中一部分使用频率高、稳定性强的。（2）.不符合分词规范的词语,原则上将不予收录。这主要包括以下几种情况:1).不是分词单位的词实际文本中的数词千变万化,如:“一、十一、一亿八千万、第六、五分之二、一千多、三十几、数万……”等等。但根据分词规范,可以作分词单位的只有:a.系数词“一、十、两、几”等b.位数词“十、百、千、万、亿、兆”等c.助数词“第、初、零、分之、多、数、约”等d.数量词“若干、许多、不少、大量、少许”等那么,除了这4组,其它数词都不是分词单位,因而也不属于电子词典的收录

7、范围之内。2).不是分词单位的短语成分,如:a.(一)般说(出其)不意热胀(冷缩)超低(空)(三)年来之首最关并以应按b.在讲话中写论文学不好科技发展时间就是生命听说读写早来桌子上c.联合国教科文组织国家标准局北京大学中国少年先锋队其中a组可能在词频统计时这些字的组合出现频度较高,但它们不在合理的层次上,既不成词也不成短语,b组是自由短语,c组是组织、机构、单位的名称。2.高频原则现代汉语词语非常丰富,即使是严格符合《信息处理用现代汉语分词规范》的分词单位,也数不胜数。因而,电子词典不可能见词就收。为了做到收词量一定

8、而词的覆盖面最大或词的覆盖面足够大而收词量最少,电子词典应在规范原则的基础上,遵守高频原则,尽可能多地选收那些使用频率高、适用面广的词语,尽量少收低频词。词语频度主要是通过对大规模语料的统计、分析获得。我们词语的频度,主要是参照电子工业部提供的“频度词表”(约4万词语)以及我们七五时选的五万词、北京语言学院编写的《现代汉语频率词典》等现有的9种