资源描述：
《大规模网页模块识别与信息提取系统设计与实现毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、本科毕业论文本科生毕业论文题目：(中文)大规模网页模块识别与信息提取系统设计与实现(英文)DesignandImplementationofLargeScaleWebTemplateDetectionandInformationExtractionSystem40本科毕业论文摘要本文在已有的基于Dom-Tree和启发式规则的网页信息提取算法的基础上，通过为所有符合W3C规范的Html标签分类，逐个分析各Html标签所包含的语义信息，细化规则设置，实现了一种自底向上的无信息遗漏的网页分块算法，并在此基础上，利用统计方法得到详细的概率分布数据，实现了文本相似度比
2、较和Bayes后验概率估计两种网页主题内容信息块识别算法，并将其求交，提高了主题内容信息块的识别精确度。上述算法已集成到天网搜索引擎平台的网页预处理模块中，并且在SEWM2008会议中，以这套算法为框架，组织了主题型网页识别和网页主题内容信息块提取两个中文Web信息检索评测项目。在这套算法的基础上，基于天网文件系统与Map-Reduce计算平台，实现了分布式的网页块级别PageRank算法，命名为QuarkRank算法。实际检验表明，该套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。关键词：网页分块信息提取SEWM评测PageRank40本科毕
3、业论文AbstractThispaperhasbeenbasedontheDom-TreeandheuristicrulesoftheWebinformationextractionmethod,byclassifyingalltheHtmltagsinlinewithW3Cstandards,andbyanalyzingsemanticinformationcontainedintheHtmltagsonebyone,itrefinestherulessetandachievesabottom-uppageblockalgorithmwithoutinfo
4、rmationmissing.Onthisbasis,withtheprobabilitydistributionofdatagettingfromstatisticalmethods,thispaperrealizestwoalgorithmsofinformationblockrecognition,oneistextsimilaritycomparisonandtheotherisBayesposteriorprobabilityestimates,andthefinalresultcomesfromtheirintersection,whichimp
5、rovestheaccuracyofinformationthemeblockrecognition.ThesealgorithmshavebeenintegratedintothepagepretreatmentmoduleofTianWangsearchengineplatform,andinSEWM2008meeting,usingthesealgorithms,weorganizedtwoChineseWebInformationRetrievalEvaluationProject,Whichtwoaretheme-basedWebpageident
6、ificationandblockextractionoftheinformationthemecontent.Inthismethod,basedonTianWangfilesystemandtheMap-Reducecomputingplatform,thispaperreportsthedistributedblock-levelPageRankalgorithm,namedQuarkRankalgorithmhere.Theactualtestshowedthatthesealgorithmsaregoodatadaptabilityandscala
7、bility,andreachaveryhighprecisionandrecall.Keywords:Web-PageBlocking,SEWM,InformationExtraction,Evaluation,PageRank40本科毕业论文毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过
8、贡献的个人或集体，均已在文中作了明确的说明并表示了谢
