资源描述：
《中文分词规范中的歧义字段消解细则》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第五,全。。,文字应用学术研讨会论文中文分词规范中的歧义字段消解细则①。李玉梅靳光瑾黄昌宁。教育部语言文字应用研究所②橄软亚洲研究院从年出版的《信息处理用现代汉语分词规范一〕至今,已有个年头经过国内外众多学者的努’。,,力分词规范有了实质性的进步当前数百万词次的分词语料,库经过人工审定后分词的出错率可以达到千分之一以下说明中文词语在大规模文本上有了精确的界定。学者们认为这个成果是分词规范、词表和带标语料库三者紧密结合的结果。作者在对微软语料库和国家语委语料库新一轮深加工标注的,过程中深切体会到规范中的命名实体和表义字串都必须逐一清,。以上这些其实晰界定否则就会出现见仁
2、见智的不同标注结果讲的都是未登录词表外词的问题。这类问题如何在规范中加人论述本文不作叙述,详情请参阅笔者的另一篇论文图。,在从事中文自动分词的研究中表外词问题已如上所述那么,表内词问题是否就不成问题了呢任何从事语料库研究的团体“”。在语料切分标注的过程中都严格遵循词表驱动原则也就是说词表中的每一个词条都不得任意切分而且在词表中也不存在,什么语法词或心理词之类的概念进人词表中的每一个词语都是一。“个合法的切分单位比如动力气象学还是一”,门年青的正在发展八的学科该例句中的每一,个词条都是词表词不能任意切碎那么词表词是否绝对不能。“”切分呢答案是否所谓词表驱动是指词表中的每
3、一个词条在不存在歧义的情况下不得随意切分但根据上下文该词条与其中文分词规范中的歧义字段消解细则城峨周围的词语发生重组现象时就必需视语境进行切分重新组合了。比“”,““”,如在会上还是在会上,’正在中国访间还是“”“”,“正在中国访问一坐就是三小时还是一坐就”“”,“”是三小时外交部长李肇星还是外交部长李肇星“”“”“这点绝不能急还是这点绝不能急有利于水”,“”“在地下循环还是有利于水在地下循环着重在”,“市中心区设人行专区还是着重在市中心区设。,人行专区’等等这些虽然都是词表词但在不同的语境中仍要切分重组。,由上述实例可以看出歧义现象是在不同语境中动态产生的数量和种类
4、繁多同时歧义的产生大都和词条的释义及词性相,,关既不能在词表中一一说明又极难归纳出一般化的消歧规则,所以以往很少有人把这类问题写到规范中去。本文以下部分是按照歧义种类来展开的第二节讲交集型歧义第三节阐述组合型义的消歧规则第四节是一个简单的结论。、二交集型歧义,那么什么叫交集型歧义呢比如兴学风用正向最大匹配得到的切分结果是兴学风八用反向最大匹配得到的切分结果是兴学风八很明显前一个切分结果,。“、”,是错误后一个是正确的由于兴学学风都是词表词所,。以这样的字串就叫做交集型歧义字串简称这类间题在,,以往的分词规范中虽有所体现但不够详细在真实文本的标注中仍然会出切分标注的错误
5、。如香港城市大学《切词规则》规则〕“‘’、指出翠字名桐翠字方位祠用来表示地黯栈梅或峙,,,。简的即使是表邃本袭的只要有一定的组率一概徒合如‘、、、、、、,。“舍援家裹屋前床上含俊地上村襄”等等雨字”,。名祠翠字方位洞的一律徒分请看以下选自语料库中的实例,大束南集圈在原打算建造辩公樱的献丝上,五,全。。,文宇应用,,研讨会论文集,纬大束南集困在原打算建造辩公楼的献地上,不少攀员在报告舍俊靓,肠不少攀具在辍告含俊靓,,可见如果仅用一两条简单规则来概括词语的切分与整合,。而不考虑给定词语出现的上下文势必造成切分的错误交集型歧,义字串在语料库中频繁出现其数量的多少取决于语料库
6、的规,。模因此很难在词表中穷尽地加人阐明我们的办法是在规范中选择较典型的交集型歧义字串通过它们所在的上下文给出切分的细则下面是我们写人规范的一些典型的交集型歧义实例及其消解规则。,在语料的切分过程中尽管绝大多数的交集型歧义可以用上,述正反向扫描来侦察到但仍有左右的交集型歧义是用都无法发现的。我们称之为隐藏的交集型歧义字串例“,如正确地理解和执行’这个字串用和的切分“正确”,“结果都是地理解和执行而正确的切分是正确”。地理解和执行,由此可见像这样隐藏的交集型歧义必须在规范中逐个予以,否。说明则这种切分错误就会被遗漏其实例有年月日出生于日本东京年月日出生八于日本东京广告显
7、而易见地表现出对疼痛的现代人意识广告显而易见地表现出八对疼痛的现代人意识只是在家八园里的一次散步八只是八在家园里的一次散步在家书里表示了一下平静的喜悦··中丈分词规范中的政义字段消解细则破碱在家书里表示了一下平静的喜悦。,他的理想与其他人的理想容或不同他的理想与其他人的理想,容或不同。称赞党和政府又为人民办八了一件大好事称赞党和政府又为人民办了一件大好事电话显然是外线路上被窃听的纬电话显然是八外线路上被窃听的才能创造出生动感人的艺术形象写才能创造八出生动感人的艺术形象每八一寸土地上却都不同往昔写每八一寸土地上却都不同往昔最,艾斯基伦德近他与钢琴家里登
