现代汉语词义标注语料库的研究与开发

《现代汉语词义标注语料库的研究与开发》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、现代汉语词义标注语料库的研究与开发吴云芳北京大学计算语言学研究所2005-08-15报告提纲目标总体思路辅助软件成果展示难点分析目标建成2－3个具有国际先进水平（或规模最大）的数据资源库并制定相应的规范或标准。——973项目“数字内容理解的理论与方法”预期目标之一我们的目标：建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。具体运用意义：是词义自动消歧（WSD）的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。总体思路——粗粒度到细粒度的两步走策略1.粗粒度标注——基于《现代汉语语法信息词典》中的“同形

2、”信息填补《现代汉语语法信息词典》和语料库的缝隙2.细粒度标注——在“同形”基础上进行更适应于语言信息处理的义项区分现代汉语语义词典（含6万实词）——《现代汉语语法信息词典》的扩充，面向机器翻译。动词库部分信息样例（增加了“义项”等字段）词语词类同形义项语义类释义英译配价主体客体与事冲vA1创造冲茶make(tea)2人固饮冲vA2促变冲胶卷develop(afilm)2人材料冲vA3促变冲盘子rinse(aplate)2人器皿冲vB位移冲锋charge1动物总体思路——语义词典和词义标注语料的互动构建语义词典词义标注语料库词语多义区分词义自动消歧1.词语义项

3、的区分一个词可以分割为几个义项？2.真实文本中词语义项的确定在一定上下文中这个词语表示什么意义？总体思路——语义词典和词义标注语料的互动构建语义词典词义标注语料词义标注义项区分面向大规模真实文本的词语义项标注规范一方面依据《语义词典》中的义项信息对语料中的多义词进行词义标注，一方面依据词语在语料中的句法表现（syntacticbehavior）对词典中的义项区分作出调整，词典和语料形成一个互动良性的发展。总体思路——词义标注语料的滚雪球似增长基本标注语料（词语切分、词性标注）人工词义标注小规模词义标注语料库机器学习词义自动消歧人工校对大规模词义标注语料库词义标注

4、校对辅助软件体现了总体思路，提高了工作效率。成果展示——词义标注语料库从/p科学/a的/u苍穹/n上{shang5}/f!B$，/wd采/v来/v!4-4日辉/n、/w月华/n、/w星/n芒/Ng，/wd每天/r为{wei4}/p!B1$我/r的/u祖国/n，/wd深情/d献/v一/m掬/q科技/n之/u光/n。/wj”/w这/r是/v!B1$大家/r的/u座右铭/n。/wj有人/r对/p《/wkz科技/n之/u光/n》/w做/v!2$过/u这样/r的/u评价/v：/w“/w长城/n!0-2上{shang5}/f!B$的/u每/r一/m块/q!1$砖/n拆/v下

5、来/v单独/d看{kan4}/v!B2-1，/wd是/v!B1$普通/a甚至/c粗糙/a的/u，/w但/c垒/v在/p一起/s却/d变/v!1$得/u蔚为/v壮观/a，/w令/v人/n惊叹/v。/w”/w今天/t《/w科技/n之/u光/n》/w已经/d成/v了/u在/p国内外/s有/v!1$一定/b知名度/n的/u电视/n品牌/n。/w成果汇总在《人民日报》基本标注语料的基础上：1.完成了270万语料的同形标注；2.完成了46个动词的义项区分，并标注8639义项；3.完成了150个名词的义项区分，并标注6000多义项；4.正在进行形容词义项区分和标注。难点分析语

6、义词典词义标注语料库词语多义区分词义自动消歧1.词语义项的区分一个词可以分割为几个义项？2.真实文本中词语义项的确定在一定上下文中这个词语表示什么意义？面向大规模真实文本的语言处理难点分析——示例【电话】①利用电流使两地的人互相交谈的装置（《现汉》）②用电话装置传递的话a.24/m小时/n值班/v守/v电话/n①？②？b.公布/v3/m部/q征求/v意见/n电话/n①？②？If电话＝①，Then守+电话不符合语用。If电话＝②，Then守+电话Fail.b.If电话＝①，Then公布+电话Fail.If电话＝②，Then3部+电话Fail.难点分析——示例关于词

7、语意义的一点认识：内容和载体是一个事物不可分割的两方面意义，存在着句法结构混合运用的情形，即可能存在着意义和结构搭配错位的情形。扩展法消歧：a.24小时值班守电话——结果电话丢了。（??）——结果一个电话也没人打来。②!b.公布3部征求意见电话——欢迎随时安装。（**）——欢迎随时拨打。②!难点之解决系列文章：信息处理用词语义项区分的原则和方法信息处理用动词义项的区分信息处理用名词义项的区分信息处理用形容词义项的区分信息处理用虚词义项的区分请您批评，谢谢！