基于模板地网页主题信息抽取

《基于模板地网页主题信息抽取》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要随着互联网的迅猛发展，Web已成为全球最大的信息源和知识库。而Web信息的主要载体——网页，除了表达主题的内容外，还有为了维持页面的链接关系而进行的导航设计或出于商业目的等进行的广告及修饰内容，这些对于以网页为数据进行处理的算法而言就是“噪音”。它们分布于网页四周，甚至附着在正文旁边，使文档主题很不明确，给Web上基于网页内容的研究工作带来很多困难。这就需要研究对网页主题信息进行抽取的有效方法。目前互联网上绝大多数的页面都是由数据库和相关的网页模板生成，网页模板以固定的显示格式处理来自同一个来源的

2、数据，由模板生成的网页结构布局是基本一致的。本文充分利用该类网页的上述特征，通过结构相似判断算法将结构布局相似的网页自动归为一类，以此作为训练样本通过机器学习得到通用的网页主题信息抽取步骤，然后按照这个步骤从其他Web页面中抽取主题信息，并在抽取阶段完成抽取规则的自动更新。主要内容包括：样本集的自动获取：通过训练生成抽取规则；根据抽取规则进行网页主题信息抽取。与现有方法相比，本文提出的方法充分考虑了网页的结构特征，具有较高的抽取效率和准确率。实验结果也证明了方法的正确性和有效性。关键词：Web挖掘；网

3、页主题信息抽取；DOM树；模板AbstractABSTRACTWiththerapiddevelopmentofIntemet，Webhasbecomeoneofthemostimportantglobalinformationsourcesandknowledgerepositories．ButWebPages，themaincarrierofWebinformation,usuallycontainadvertisinganddecorativeelementsforcommercialpurpo

4、sesandnavigationdesignswhichareinordertomaintainthelinkbetweenpagesbesidestopicinformation．Alloftheseare‘'noises’’forthealgorithmhandlingWebPages．‘'Noises’’locatearoundthetextorevenembedinthetext,whichbringmanydifficultiesforweb-basedresearchwork．Insuch

5、circumstances，weneedeffectivemethodstoextracttopicinformationofWebPages．CurrentlythevastmajorityofpagesontheIntemetaregeneratedfromthedatabaseandrelatedtemplate．Templatesformatthepagesfromthesamesourcedatainafixedstyle，80thelayoutofWebPagesissimilar．Int

6、hispaper,bytakingfulladvantageoftheabovefeatures，WebPageswhichareinsimilarstructureandlayoutwillbeclassifiedintoonesamplesetautomaticallybyStructure-basedPageSimilarityAlgorithm，withwhich,wecangetgeneralstepsforextractingtopicinformationthroughmachinele

7、arning,andfollowthestepstodealwithotherpagesgotfromotherwebsites．Furthermore，weupdateextractionrulesduringthetllirdstageinordertoimprovetheextractiveaccuracyrate．Themaincontentsinclude：automaticretrievesampleset；generateextractionrulesthroughtraining；ex

8、tracttopicinformationbasedonrulesaccordingly．ThemethodtookmuchadvantageofthecharacteristicofWebPage’Sstructureandimprovedextractionperformanceobviously．Theresultsalsoprovedthatthemethodisaccurateande仟ective．KeyWords：WebMining；Web