基于中文维基百科的全文语义标注系统

《基于中文维基百科的全文语义标注系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文摘要互联网将各种信息提供给人们的同时，海量的信息又使人们很难迅速而准确地获取自己最需要的信息。这是因为计算机不能理解目前网页内容的语义且各种信息缺乏组织。语义网技术通过语义标注的方法将现有的互联网资源通过统一的语义将其组织起来，成为可以被机器所理解的信息。维基百科是一个基于Wiki技术由全世界的人们共同协作编辑完成的多语言百科全书，常被认为是一个含有丰富语义关系且具有固定模板的语料库。利用中文维基百科中词条之间的语义链接，结合TF-IDF和Google距离的方法从链接权重和共现两个角度

2、可以提取出较为准确的语义知识。文档中词语之间的语义联系不仅仅是在其相邻的词语之间，在不同段落的词语同样也会有关联。因而，忽略掉文档原有的结构，文档可以看作是每个词都相互关联的词的集合。基于条件随机场模型设计出符合全文语义标注的点特征函数和边特征函数以及模型推理方法，在中文维基百科中获取的语义知识的基础上，完成中文文档的全文语义标注。实验表明，结合TF-IDF和Google距离的方法计算出来的词语之间的语义相关度精确度达到85%以上，对一般和较低的语义相关度的词语之间的精确度达到95%，使用基于中文维基百科的语

3、义标注系统可以准确标注具有多领域语义的词语。关键词：维基百科，语义标注，条件随机场I华中科技大学硕士学位论文AbstractWhileInternetpresentingallkindsofinformationtopeopleindifferentforms,greatlyhugeinformationmakeitdifficultforpeopletosearchtheknowledgetheyaremostneededfromthevastoceanofWebpages.Internetweareusi

4、ngcurrentlyhastwoobviousdeficiencies:firstofall,machinecannotunderstandthecontentofdocument.Secondly,informationexistdisordered,therelationshipbetweenvariouskindsofinformationinherentlylackoforganization.Semanticwebtechnologyisproposedtoresolvetheseproblems

5、.Itaimstotransformexistingdocumentstomachine-understandableinformationbyorganizingthemusingawell-definedsemanticknowledgebase.Addingmachine-understandablesemanticinformationforavarietyofresourcesisrealizedbysemanticannotationtechnology.Wikipediaisafreewiki-

6、based,collaborative,multilingualencyclopediaeditedbypeopleallovertheworld,whichisconsideredasahavingrichsemanticrelationsandfixedtemplatecorpus.AwelldefinedChinesesemanticknowledgebasecanbeextractedfromChineseWikipediawithcombinedTF-IDFandGoogledistancemeth

7、odfromtheweightandoccurrenceofsemanticlinksbetweenterms.Semanticrelationsbetweenwordsinadocumentnotonlyexistbetweenadjacentwords,wordsindifferentparagraphsalsomayberelevant.Thus,ignoringthefixedstructureoftheoriginaldocument,adocumentcanbeconsideredasinterr

8、elatedsetofwords.BasedonthesemanticknowledgebaseextractedfromChineseWikipedia,wedesignvertexandedgefeaturefunctionwhichobeyfull-textsemanticannotationlogicintheframeworkofmodelofconditionalrandomfields