资源描述：
《硕士学位论文-基于xml的web信息抽取技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、沈阳理工大学硕士学位论文基于XML的Web信息抽取技术研究姓名：范春晓申请学位级别：硕士专业：计算机软件与理论指导教师：和晓军20100301摘要随着Internet的快速发展，Web上的数据信息急剧增加，成为了世界上规模最大的公共数据资源，而信息展示网页是主要的展现媒介，大量Web信息是在信息展示页面中表现的，这些信息是用户感兴趣信息的主要来源，因此，研究如何对这类网页进行Web信息抽取有重大的意义。HTML在展示数据方面十分成功，它着重于文本内容的表现而不是数据的描述，根据标签无法获得它们所包含的文本内容。XML是着重于数据描述的一个新的语言，
2、易于对数据进行控制与操作，所以通过XML技术进行信息抽取具有很大的优势。而XHTML做为HTML与XML之间的桥梁，可以将HTML格式转换为符合XML技术标准的XHTML格式。本文采用可扩展标记语言XML的相关技术来抽取信息展示网页中的信息。其解决方案是：首先，对获取的网页进行预处理，主要包括对HTML网页进行标签清洗，将清洗后HTML文档转换为XHTML文档，并解析XHTML文档生成DOM树；随后，通过改进基于XML的分块算法，采用DOM树节点赋权值方法进行主数据块的抽取，并形成数据记录；最后，基于XML行业词汇与文字数量特征对数据记录进行二次识
3、别，最终抽取出信息展示页的主要内容。本文对信息抽取的相关技术进行了研究，根据信息展示网页的特点确定了抽取信息的方法，最后建立了抽取的实验模型。在进行信息抽取时，由于抽取主数据块采用了合理的权值，所以很好的去掉噪音信息；同时还采用了二次识别权值的方法，精确的抽取出主要信息。试验结果表明，采用该方法在召回率和准确率上都得到了良好的效果。关键词：Web信息抽取，可扩展标记语言，信息展示网页，权值沈阳理工大学硕士学位论文AbstractWiththerapiddevelopmentoftheInternet,theWebdatainformationiss
4、harpincreasing,whichbecomesthebiggestinformationsourcebeyondtheothersources.Consequently,howtoextractvaluableinformationformwebhasbecomearesearchfocalpoint.Currently,amassofWebinformationwillbeshowedintheinformationdisplaypagewhichismainmedia,sothereseachofsuchpageshasbecomeex
5、tremelysignificantandpractical.HTMLisverysuccessfulinthedisplaydata,anditfocusesontheperformanceofthedata,ratherthanadescriptionofthedata,soaccordingtolabel,wecannotgainthecontentitcontainsthroughlabel.XMLisanewtechnologythatfocusesonoperatingthedata,asaresult,ithasgreatadvant
6、agestoextractdatabyXMLtechnology.XHTMLprovidesabrigdeforthem,anditcanconvertHTMLtoXHTMLwhichmeetstheXMLtechnicalnorms.ThankstousingHTMLtechnologyinanarmyofWebpage,inthisthiese,extractdataofinformationdisplaypagetakingadvantageofXML-relatedtechnologies.Itssolutionis:Firstly,Acc
7、esstotargetinformationdisplaypageandcleaningthispage,thenthecleanedHTMLsourceisconvertedintostructuredXHTMLdocumentbyNtidytool.Secondly,ExtractmaindatablockviaempoweringthevaluetoDOMtreenodeandgeneratedatarecord;Finally,choosethebestusefulinformationthroughXML-basedfieldvocabu
8、laryandthenumberofwordsinthedatarecord,andstorethebestdatarec
