资源描述：
《大规模网页模块识别与信息提取 系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、本科毕业论文本科生毕业论文题目：(中文)大规模网页模块识别与信息提取系统设计与实现(英文)DesignandImplementationofLargeScaleWebTemplateDetectionandInformationExtractionSystem姓名：学号：院系：计算机系专业：搜索引擎与互联网信息挖掘指导教师：二〇二一年六月十九日37本科毕业论文摘要本文在已有的基于Dom-Tree和启发式规则的网页信息提取算法的基础上，通过为所有符合W3C规范的Html标签分类，逐个分析各Html标签所
2、包含的语义信息，细化规则设置，实现了一种自底向上的无信息遗漏的网页分块算法，并在此基础上，利用统计方法得到详细的概率分布数据，实现了文本相似度比较和Bayes后验概率估计两种网页主题内容信息块识别算法，并将其求交，提高了主题内容信息块的识别精确度。上述算法已集成到天网搜索引擎平台的网页预处理模块中，并且在SEWM2008会议中，以这套算法为框架，组织了主题型网页识别和网页主题内容信息块提取两个中文Web信息检索评测项目。在这套算法的基础上，基于天网文件系统与Map-Reduce计算平台，实现了分布式的
3、网页块级别PageRank算法，命名为QuarkRank算法。实际检验表明，该套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。关键词：网页分块信息提取SEWM评测PageRank37本科毕业论文AbstractThispaperhasbeenbasedontheDom-TreeandheuristicrulesoftheWebinformationextractionmethod,byclassifyingalltheHtmltagsinlinewithW3Cstandards,andb
4、yanalyzingsemanticinformationcontainedintheHtmltagsonebyone,itrefinestherulessetandachievesabottom-uppageblockalgorithmwithoutinformationmissing.Onthisbasis,withtheprobabilitydistributionofdatagettingfromstatisticalmethods,thispaperrealizestwoalgorithms
5、ofinformationblockrecognition,oneistextsimilaritycomparisonandtheotherisBayesposteriorprobabilityestimates,andthefinalresultcomesfromtheirintersection,whichimprovestheaccuracyofinformationthemeblockrecognition.Thesealgorithmshavebeenintegratedintothepag
6、epretreatmentmoduleofTianWangsearchengineplatform,andinSEWM2008meeting,usingthesealgorithms,weorganizedtwoChineseWebInformationRetrievalEvaluationProject,Whichtwoaretheme-basedWebpageidentificationandblockextractionoftheinformationthemecontent.Inthismet
7、hod,basedonTianWangfilesystemandtheMap-Reducecomputingplatform,thispaperreportsthedistributedblock-levelPageRankalgorithm,namedQuarkRankalgorithmhere.Theactualtestshowedthatthesealgorithmsaregoodatadaptabilityandscalability,andreachaveryhighprecisionand
8、recall.Keywords:Web-PageBlocking,SEWM,InformationExtraction,Evaluation,PageRank37本科毕业论文目录第1章序言3第2章相关研究工作52.1基于语义的网页信息提取算法52.2基于视觉的网页分块算法62.3BlockLevelPageRank算法82.3.1BlockLevelWebGraph82.3.2BlockLevelPageRank10第3章天网搜索引擎Quark模块113
