自适应web数据抽取技术研究

《自适应web数据抽取技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：１０１４０分类号：：４０３１３３１９８３密级：公开学号？＾￡每六聲ＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文ＴＨＥＳＩＳＦＯＲＭＡＳＴＥＲＤＥＧＲＥＥ论文题目：自适应Ｗｅｂ数据抽取技术研究Ｒｅｓｅａｒｃｈｕｅｏｆｅ－ａｄａｔｉｖｅａｔａＥｘｔｒａｃｔｉｏｎｏｎＴｅｃｈｎｉＳｌｆＷｅｂＤ英文题目：ｑｐ论文作者：陈晓雷指导教师：李晓光教授专业；计算机应用技术二〇—完成时间：六年五月申请妊宁大学硕±学位论文自适应Ｗｅｂ数据抽取

2、技术研究－民的ｅａｒｃｈｏｎ了ｅｃｈｎｉｕｅｏｆＳｅｌｆａｄａｐｔｉｖｅＷｅｂｑＤａｔａＥｘｔｒａｃｔｉｏｎ作者：陈晓雷指导教师：李晓光教授专业：计算机应用技术２０１６日答辩日期：年５月２６二０—六年Ｈ月？中国狂宁狂宁大学学位论文原创性声明本人郑重声明；所呈交的学位论文是本人在导师的指导下独立完成的。论文中取得的研究成果除加Ｗ标注的内容外，不包含其他个人或集体已经发表或撰写过的研究成果，不包含本人为获得其他学位而使用过的成果。对本文的研究做出重要贡献

3、的个人和集体均已在文中进行了标注，并表示谢意。本人完全意识到本声明的法律结果由本人承担。一学位论文作者签名；衣彝獻焉扣；／谷年＾月么曰学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部口或机构送交学位论文的原件、复印件和电子版，允许学位论文被查阔和借阅。本人授权迂宁大学可！＾将本学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存和汇编学位论文。同时授权中国学术期刊（光盘版）电子杂志社将本学位论文

4、收录到《中国博±学位论文全文数据库》和《中国优秀硕±学位论文全文数据库》并通过网络向社会公众提供信息服务。学校须按照授权对学位论文进行管理，不得超越授权对学位论文进行任意处理。保密（），在年后解密适用本授权书。（保密；请在括＂”号内划Ｖ）授权人签名；指导教师签名：日期：若年《月＾日日期：２Ｗ《年＾月＞日描要摘要自２０世纪９０年代Ｗ来虹ｔｅｍｅｔ技术得到了高速和深入发展，互联网上的信一息资源呈现爆炸式增长，当今的互联网己成为个巨大而开放的知识库。但是Ｗ純页面中的信息格式复

5、杂多样，除了正文之外还包含导航栏、广告链接、相关阅读等噪音信息，这些噪音信息的存在极大地影响了搜索引擎的效率和准确ｅｂ一个重要的研究课题率。因此，研究如何自适应抽取Ｗ网页信息成为了。Ｗ纯页面一般为半结构化页面，其构成语言缺乏严格规范的语法，而且ＨＴＭＬ标签并不表达有意义的语义信息，所Ｗ传统的自然语言处理技术无法很好的胜任Ｗｅｂ页面的信息抽取工作。从用户角度看，Ｗ纯页面经过浏览器的痘染，其中包含了大量的视觉特征和统计特征等等，利用这些页面特征可Ｗ实现Ｗｅｂ页面数据的抽取。本文的研究内容主要针对舆情分析

6、需求，研究Ｗ沈上舆情数据抽取技术。具体研究包括：一１．针对Ｗ纯正文信息抽取问题提出了种基于Ｗ纯页面视觉特征的正文抽取方法。根据ＨＴＭＬ５和网页布局的特点对ＶＩＰＳ算法的规则做了调整，并应用ＶＩＰＳ算法将Ｗｅｂ页面分割成独立语义块。根据视觉和统计特征提出了舆情数据的抽取规则，利用规则删除非正文视觉块，抽取出页面的正文信息块，最后将正文信息块中的数据组成正文。２一．设计了种自适应Ｗｅｂ页面数据抽取方法。方法应用ＸＰａ化表达式抽取页面实体数据，并使用模板记录页面数据特征。若页面结构发生变化导致原Ｘ

7、Ｐａｔｈ表达式无法正确抽取数据，则根据模板记录搜索数据。为增加搜索效率，采用由叶子节点向根节点逆序搜索的策略。搜索成功后得到目标数据，并更新原ＸＰａ化表达式，从而达到了自适应页面结构的变化，减少人工干预的目的。３．研究了ＤＯＭ树和ＸＰａｔｈ等技术，分别设计和实现了Ｗｅｂ正文信息抽取和页面数据抽取实验。本文通过对１０个主流的新闻类和论坛类网站的数据集迸行实验分析。实验结果表明，本文提出的正文抽取方法在准确率上高于传统算法，数据抽取方法在页面变化后同样迭到了较高的准确率。关键词：ＶＩＰＳ算法，视

8、觉特征，正文抽取，数据抽取１Ａｂ巧ｒａｃｔＡＢＳＴＲＡＣＴｒｎｅ－Ｓｉｎｃｅ１９９０ｓＩｎｔｅｔｔｅｃｈｎｏｌｏｈａｓｂｅｅｎｄｅｖｅｌｏｅｄｒａｉｄｌａｎｄｉｎｄｅｔｈ，，ｇｙｐｐｙｐｒｅｓｏｕｒｃｅｓｏｆｉｎｆｏｒｍａｔｉｏｎｏ