【硕士论文】基于垂直搜索引擎信息抽取技术的研究.pdf

《【硕士论文】基于垂直搜索引擎信息抽取技术的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、哈尔滨工程大学硕士学位论文a-i'1i[[[Iii

2、●萱置萱i皇l摘要在信息化时代，获得信息的途径越来越多。互联网作为信息的载体，在传播效率和信息容量方面都有无可替代的地位。但是随着信息量的增加，用户在互联网上获得真正所需信息的变得越来越困难。搜索引擎的出现改善了目前的状况，但是用户想要获得专业化的信息仍然不够方便。垂直搜索引擎的出现解决了这一问题。在垂直搜索引擎中，结构化信息抽取技术是垂直搜索引擎的关键技术之一。基于包装器的信息抽取是信息抽取技术中主要的抽取技术。在包装器生成过程中，需要对网页分析并生成针对该网页的抽取规则。在分析网页时多余的“非主题"信息参与生成抽取规则不仅会影响包装器

3、抽取的效率，而且影响结果的准确性。本文提出了对原有包装器生成模式的改进。在对MDR算法修改的基础上，直接提取出主题信息，只将主题信息参与构成抽取规则。需要提取主题信息的网页要满足数据密集这个前提，因为在提取主题信息过程中，要把主题信息区域中各条信息的树结构析取出来。通过对整个网页DOM树上同层次的各个节点的比较，将具有相似节点特征的联合节点进行划分，分成若干相似的数据区域，构成抽取各条信息的简单树结构。然后按照包装器抽取规则的提取方法对该树结构提取结构化信息抽取规则。该方法有效地去除了“非主题”信息，只对每条数据信息生成抽取规则。实验结果表明该方法在一定程度上提高了包装器生成的效率和抽取的

4、准确率的召回率。关键词：垂直搜索引擎；信息抽取：主题信息；联合节点：数据区域哈尔滨工程大学硕士学位论文AbstractInmodemtimes，therearemanywaystoobtaininformation．Asallinformationmedia,intemetismuchmoreimportantintheefficiencyoftransmissionandvolumeofinformation．Withtheincrementofin_formation,itiSdifficultforuserstogettheinformationtheyreallyneed．Alth

5、oughtheinventionofsearchengineimprovesthecurrentcondition，itisstillnotconvenientforthemtOobtainprofessionalinformation．Andverticalsearchenginesolvesit．Inverticalsearchengine，structureddataextractionisoneofthekeytechnologies．Anddataextractionbasedonwrapperisamoreimportanttechnologyofthedataextracti

6、on．Beforegenerationofthewrapper,itisneededtoanalyzethewebpageandgeneratetheruleofdataextraction．Them-themedatainvolvedinextractionrulewhileanalyzingbadlyaffectstheefficiencyofextractionandaccuracyofresult．Wepromoteimprovementonthewrapper,whichextractsthethemedirectlyandanalyzesthewebpagebasedonimp

7、rovedMDRalgorithm．Thewebpageextractedthemeshouldbedataintensive．becauseintheprocedureofextraction，wewouldextractthetreeofeachiteminthethemeregion．ThroughthecomparisonofeachnodeonthesamelayerintheDOMtreeofthewholewebpage．somegeneralizednodeswhicharesimilartoeachotheraredividedintosomesimilardatareg

8、iontoconstitutethesimpletreeprocessedlater．Afterthatwecartgeneratetheruleofstructureddataextractiononthedataregionintheusualway．Thetin．themedatawhichisuselessandcausesinefficiencyonthewebpageisthoroughlycleared．T