基于xml的web信息抽取技术研究

基于xml的web信息抽取技术研究

ID:33805143

大小:1.05 MB

页数:68页

时间:2019-02-28

基于xml的web信息抽取技术研究_第1页
基于xml的web信息抽取技术研究_第2页
基于xml的web信息抽取技术研究_第3页
基于xml的web信息抽取技术研究_第4页
基于xml的web信息抽取技术研究_第5页
资源描述:

《基于xml的web信息抽取技术研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、沈阳理工大学硕士学位论文基于XML的Web信息抽取技术研究姓名:范春晓申请学位级别:硕士专业:计算机软件与理论指导教师:和晓军20100301摘要随着Internet的快速发展,Web上的数据信息急剧增加,成为了世界上规模最大的公共数据资源,而信息展示网页是主要的展现媒介,大量Web信息是在信息展示页面中表现的,这些信息是用户感兴趣信息的主要来源,因此,研究如何对这类网页进行Web信息抽取有重大的意义。HTML在展示数据方面十分成功,它着重于文本内容的表现而不是数据的描述,根据标签无法获得它们所包含的文本内容。XML是着重于数据描述的一个新的语言,易于对数据进行控制与操作,所以通过XML技术进

2、行信息抽取具有很大的优势。而XHTML做为HTML与XML之间的桥梁,可以将HTML格式转换为符合XML技术标准的XHTML格式。本文采用可扩展标记语言XML的相关技术来抽取信息展示网页中的信息。其解决方案是:首先,对获取的网页进行预处理,主要包括对HTML网页进行标签清洗,将清洗后HTML文档转换为XHTML文档,并解析XHTML文档生成DOM树;随后,通过改进基于XML的分块算法,采用DOM树节点赋权值方法进行主数据块的抽取,并形成数据记录;最后,基于XML行业词汇与文字数量特征对数据记录进行二次识别,最终抽取出信息展示页的主要内容。本文对信息抽取的相关技术进行了研究,根据信息展示网页的特

3、点确定了抽取信息的方法,最后建立了抽取的实验模型。在进行信息抽取时,由于抽取主数据块采用了合理的权值,所以很好的去掉噪音信息;同时还采用了二次识别权值的方法,精确的抽取出主要信息。试验结果表明,采用该方法在召回率和准确率上都得到了良好的效果。关键词:Web信息抽取,可扩展标记语言,信息展示网页,权值沈阳理工大学硕士学位论文AbstractWiththerapiddevelopmentoftheInternet,theWebdatainformationissharpincreasing,whichbecomesthebiggestinformationsourcebeyondtheothers

4、ources.Consequently,howtoextractvaluableinformationformwebhasbecomearesearchfocalpoint.Currently,amassofWebinformationwillbeshowedintheinformationdisplaypagewhichismainmedia,sothereseachofsuchpageshasbecomeextremelysignificantandpractical.HTMLisverysuccessfulinthedisplaydata,anditfocusesontheperform

5、anceofthedata,ratherthanadescriptionofthedata,soaccordingtolabel,wecannotgainthecontentitcontainsthroughlabel.XMLisanewtechnologythatfocusesonoperatingthedata,asaresult,ithasgreatadvantagestoextractdatabyXMLtechnology.XHTMLprovidesabrigdeforthem,anditcanconvertHTMLtoXHTMLwhichmeetstheXMLtechnicalnor

6、ms.ThankstousingHTMLtechnologyinanarmyofWebpage,inthisthiese,extractdataofinformationdisplaypagetakingadvantageofXML-relatedtechnologies.Itssolutionis:Firstly,Accesstotargetinformationdisplaypageandcleaningthispage,thenthecleanedHTMLsourceisconvertedintostructuredXHTMLdocumentbyNtidytool.Secondly,Ex

7、tractmaindatablockviaempoweringthevaluetoDOMtreenodeandgeneratedatarecord;Finally,choosethebestusefulinformationthroughXML-basedfieldvocabularyandthenumberofwordsinthedatarecord,andstorethebestdatarec

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。