deep web数据抽取及语义标注研究

《deep web数据抽取及语义标注研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、河北大学硕士学位论文DeepWeb数据抽取及语义标注研究姓名：魏勇刚申请学位级别：硕士专业：计算机应用技术指导教师：袁方20090501摘要随着计算机和网络技术的快速发展，互联网在人们的日常生活中发挥着越来越重要的作用。信息检索作为互联网应用的重要组成部分，是用户获取信息的主要方法。目前，信息检索一般通过搜索引擎完成。由于技术原因，传统的搜索引擎只能发现静态网页内容，而无法获取Web数据库中的信息。如何能够充分利用Web数据库中丰富的资源，成为一个值得研究的问题。存储在W曲数据库中、不能通过超链接访问的资源集合被称为Deepw曲。为自动获取De

2、epWeb背后众多Web数据库中的资源，需要建立DeepWeb数据集成系统，该系统的查询结果处理模块分为数据抽取和语义标注两部分。数据抽取是指通过技术手段将Web页面上的数据抽取出来，保存为XML文档或关系模式，作为下一步处理的基础。语义标注是指对抽取出的数据增加语义注释，便于计算机识别与处理，从而具有更高的利用价值。本文使用Xpath技术完成DeepWreb数据抽取并提出一种基于中文词性和领域知识的语义标注方法。基于Xpath的数据抽取方法首先将DeepWreb查询结果页面规范化为XML格式，然后在遍历XML文档的过程中确定待抽取数据路径表达

3、式，最后根据该表达式完成数据抽取并保存为XML格式。语义标注给抽取出的数据增加语义信息。本文所述语义标注方法借助中文分词工具得到抽取结果的词性，并根据词性或词性组合与语义建立映射规则，同时结合领域知识进行语义标注。实验表明，本文所述方法能够对DeepWreb查询结果准确抽取并对抽取结果进行语义标注，从而验证了方法的有效性。关键词DeepWeb数据抽取语义标注AbstractWiththerapiddevelopmentofcomputerandnetworktechnologies，Internetisplayingamoreimportant

4、roleinourdailylifetheneverbefore．AsallimportantpartoftheInternetapplications，searchingonlinehasbecomethemainwaytoobtaininformationformanypeople．Atpresent，searchingengineisthemostcommonlyusedt001．Limitedbytechnologysupports，mostmainstreamsearchenginescanonlyreturnthesurfaceof

5、staticwebs，butCannotdirectlyacquireinformationfromwebdatabase。SotheresearchonhowtoutilizetheresourcesinDeepwebismeaningful．Deepwebisdefinedastheaggregateofresourcesinwebdatabases，whichcannotbeaccessedbythehyperlink．ADeepwebdataintegrationsystemwillhastobecreatedtoobtainresou

6、rcesinDeepweb．TheDeepwebqueryresultprocessingmodelincludestwoparts：dataextractionandsemanticannotation．DataextractionisthemeansofextractinginformationinawebpagebysometechnicalmethodsandsavinginformationinXMLformatorrelationalschema,asthebasisoffurtherprocess．Andthetermsemant

7、icannotationindicatesaddingsemanticannotationontheextracteddataSOwhichwillbeeasilyrecognizedbycomputersandobtainbetterutilizationvalue．ThispaperperformedthedataextractionbyusingXpath，andthenproposedaDeepWebsemanticannotationmethodbasedonChinesepart—of-speechanddomainknowledg

8、e．InthisXpathextrationmethod，XMLstandardizationisfirstlyperformedonthesearc