资源描述：
《论文--大规模网页模块识别与信息提取系统设计实现分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、-00448174朱磊本科毕业论文本科生毕业论文题目：(中文)大规模网页模块识别与信息提取系统设计与实现(英文)DesignandImplementationofLargeScaleWebTemplateDetectionandInformationExtractionSystem姓名：朱磊学号：00448174院系：计算机系专业：搜索引擎与互联网信息挖掘指导教师：闫宏飞二〇二一年七月六日.--38-00448174朱磊本科毕业论文.--38-00448174朱磊本科毕业论文摘要本文在已有的基于Dom-Tree和启发式规则的网页信息提取
2、算法的基础上，通过为所有符合W3C规范的Html标签分类，逐个分析各Html标签所包含的语义信息，细化规则设置，实现了一种自底向上的无信息遗漏的网页分块算法，并在此基础上，利用统计方法得到详细的概率分布数据，实现了文本相似度比较和Bayes后验概率估计两种网页主题内容信息块识别算法，并将其求交，提高了主题内容信息块的识别精确度。上述算法已集成到天网搜索引擎平台的网页预处理模块中，并且在SEWM2008会议中，以这套算法为框架，组织了主题型网页识别和网页主题内容信息块提取两个中文Web信息检索评测项目。在这套算法的基础上，基于天网文件系统
3、与Map-Reduce计算平台，实现了分布式的网页块级别PageRank算法，命名为QuarkRank算法。实际检验表明，该套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。关键词：网页分块信息提取SEWM评测PageRank.--38-00448174朱磊本科毕业论文AbstractThispaperhasbeenbasedontheDom-TreeandheuristicrulesoftheWebinformationextractionmethod,byclassifyingalltheHtmltagsinlinewi
4、thW3Cstandards,andbyanalyzingsemanticinformationcontainedintheHtmltagsonebyone,itrefinestherulessetandachievesabottom-uppageblockalgorithmwithoutinformationmissing.Onthisbasis,withtheprobabilitydistributionofdatagettingfromstatisticalmethods,thispaperrealizestwoalgorithm
5、sofinformationblockrecognition,oneistextsimilaritycomparisonandtheotherisBayesposteriorprobabilityestimates,andthefinalresultcomesfromtheirintersection,whichimprovestheaccuracyofinformationthemeblockrecognition.Thesealgorithmshavebeenintegratedintothepagepretreatmentmodu
6、leofTianWangsearchengineplatform,andinSEWM2008meeting,usingthesealgorithms,weorganizedtwoChineseWebInformationRetrievalEvaluationProject,Whichtwoaretheme-basedWebpageidentificationandblockextractionoftheinformationthemecontent.Inthismethod,basedonTianWangfilesystemandthe
7、Map-Reducecomputingplatform,thispaperreportsthedistributedblock-levelPageRankalgorithm,namedQuarkRankalgorithmhere.Theactualtestshowedthatthesealgorithmsaregoodatadaptabilityandscalability,andreachaveryhighprecisionandrecall.Keywords:Web-PageBlocking,SEWM,InformationExtr
8、action,Evaluation,PageRank.--38-00448174朱磊本科毕业论文目录第1章序言3第2章相关研究工作52.1基于语义的网页信息提取算法52.2基于视觉的网页分块算法62.3Bl
