浅谈汉语分词的标准

《浅谈汉语分词的标准》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈汉语分词的标准【正文】分词是汉语信息处理中的一项基础工程。解决汉语分词问题，意义重大，但困难重重，所以“分词问题巳成为当前中文信息处理的瓶颈”。[1]在分词的诸多问题中，最重要的问题是：分词的标准是什么？要让计算机做自动分词，首先必须要有一个分词词表，而制定这样一个词表又需要有一个分词规范。要制定分词规范，就需要有判断词与非词的标准。同时，对计算机分词结果的评价，也需要有一个判断是非的标准。所以黄昌宁先生正确地指出，在汉语分词问题中，“首先必须就汉语的分词标准取得共识”。[1]影响分词的因素很多，而这些因素都可以成为分词的依据或标准

2、。吕叔湘先生说，判定一个语素组合体是词还是短语，主要涉及五个因素：“第一，这个组合能不能单用，这个组合的成分能不能单用；第二，这个组合能不能拆开，也就是这个组合的成分能不能变换位置或让别的语素隔开；第三，这个组合的成分能不能扩展；第四，这个组合的意义是不是等于它的成分的意义的总和；第五，这个组合包含多少个语素，也就是它有多长。”[4]其中，前三个因素可以归入结构标准，第四和第五个因素可以分别归入语义标准和音节标准。除了这三个标准之外，使用频度也是影响人们“词感”的一个重要因素。下面根据我们在语料库分词中遇到的实际问题，就这几个标准谈一些

3、粗浅的认识。1.结构标准　　结构标准是最重要的标准。从结构上看，词和语素划界主要依据单用的标准，词和短语划界目前主要用扩展法。（1）单用的定义及受限单用　　一个语素要成为词它必须能够单用，这是一个非常朴素的道理。一个结构体AB，只要A或B是不单用的，那么AB就是一个词。这是一个充分条件，它对分词的作用是很大的。我们从20万字语料中找出所有可能的双音节组合，得到10056个条目（type），其中6267条是其中至少有一个部分是非单用的，据此我们就可以判断这些组合都是词。可见单用的标准可以解决双音节组合中近三分之二的问题。但是，许多语法著作

4、中对单用的定义仍存在模糊不清、不易操作的问题。我们把单用的情况分为自由单用和受限单用两种：所谓自由单用是说一个语素具有某一类词的典型的句法特征；[6]所谓受限单用是指一个语素虽不具有某一类词的典型句法特征，但在特定的条件下也应该算是单用的。受限单用根据受限的条件又可以分为结构受限和语体受限两种。1）结构受限。结构受限是指一些语素不具有某一类词的典型句法特征，但是在特定的句法结构中能产性很强，而且整个结构又可以用简单的句法-语义规则加以描述的现象。〔1〕例如，一些名词性语素在单说的时候必须儿化或加上后缀，但在“名＋名”式偏正结构中却可以比

5、较自由地充当定语或修饰语。例如，“桌”单说的时候必须是“桌子”，“桌”不具有名词的典型句法特征，它不能受数量词的修饰，不能做主语或宾语，只有加上一个后缀“子”变成“桌子”之后它才具有名词的典型句法特征。同样的例子有“瓶、袋、盒、椅、窗、叶、绳、牌、声”等。这些语素变成自由单用的方式有两种：儿化或在后面加上后缀“子”。有的是只有一种方式，有的是两种方式都能用，如：儿化：瓶儿、袋儿、盒儿、叶儿、绳儿、牌儿、桌儿、声儿加“子”：瓶子、袋子、盒子、叶子、绳子、牌子、桌子、椅子、窗子但是，这些语素在“名＋名”式偏正结构中能产性很强，而且在结构中并

6、不需要儿化或带上后缀，例如：奶瓶、花瓶、醋瓶、酒瓶、啤酒瓶、酱油瓶、可乐瓶、氧气瓶、液化气瓶、玻璃瓶、塑料瓶纸盒、铁盒、木盒、火柴盒、骨灰盒、包装盒、铅笔盒、香烟盒、糖果盒、化妆盒、礼品盒笑声、掌声、哭声、喊声、鞭炮声、锣鼓声、唢呐声、国歌声、欢呼声、赞扬声、喧嚣声丁香叶、榆钱叶、梧桐叶、广告牌、卫生值日牌、草绳、麻绳、咸草绳、钢丝绳、靠背椅以上是作中心语的例子，它们还可以作修饰语，如：瓶盖、瓶口、瓶底、瓶签、桌腿、桌上、桌面、窗前、窗外、椅背、椅垫子可以看出，这类结构可以用简单的句法语义规则加以描述，它们和两个自由单用的名词构成的偏正

7、结构没有什么两样，这充分反映了汉语的简约性。我们没有必要在词汇表中收入这些组合，只要把这些语素作为词收进去就可以了。其实，在我们的头脑中也是这么处理的，比如在我们的头脑中储存了“棕榈”和“叶”，我们就可以调用句法语义规则，推出“棕桐叶”的意义。用结构受限的思想就很容易解决汉语分词中的经典问题：“鸡蛋”和“鸭蛋”的问题。按照自由单用的观点，就造成了“鸡蛋”是短语、“鸭蛋”是词的结果，因为“鸭”不能自由单用，我们不能说“一群鸭”，而必须说“一群鸭子”。但我们可以说，“鸭”是受限单用的，因为虽然它不能直接受数量词的修饰，不能直接做主宾语，不能

8、独立成句，但能够自由地在“名＋名”式偏正结构中做修饰语或中心语，如“北京鸭、鸭毛、鸭头、鸭翅膀”等。另一个结构受限的例子是，一些语素不具有动词或形容词的典型句法特征，不能作谓语，只能出现在补语位置上，而且在