资源描述:
《大规模网页模块识别与信息提取系统设计与实现毕业论文》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、本科毕业论文本科生毕业论文题目:(中文)大规模网页模块识别与信息提取系统设计与实现(英文)DesignandImplementationofLargeScaleWebTemplateDetectionandInformationExtractionSystem40本科毕业论文摘要本文在已有的基于Dom-Tree和启发式规则的网页信息提取算法的基础上,通过为所有符合W3C规范的Html标签分类,逐个分析各Html标签所包含的语义信息,细化规则设置,实现了一种自底向上的无信息遗漏的网页分块算法,并在此基础上,利用统计方法得到详细的概率分布数据,实现了文本相似度比
2、较和Bayes后验概率估计两种网页主题内容信息块识别算法,并将其求交,提高了主题内容信息块的识别精确度。上述算法已集成到天网搜索引擎平台的网页预处理模块中,并且在SEWM2008会议中,以这套算法为框架,组织了主题型网页识别和网页主题内容信息块提取两个中文Web信息检索评测项目。在这套算法的基础上,基于天网文件系统与Map-Reduce计算平台,实现了分布式的网页块级别PageRank算法,命名为QuarkRank算法。实际检验表明,该套算法具有很好的适应性与可扩展性,并达到了很高的精度和召回率。关键词:网页分块信息提取SEWM评测PageRank40本科毕
3、业论文AbstractThispaperhasbeenbasedontheDom-TreeandheuristicrulesoftheWebinformationextractionmethod,byclassifyingalltheHtmltagsinlinewithW3Cstandards,andbyanalyzingsemanticinformationcontainedintheHtmltagsonebyone,itrefinestherulessetandachievesabottom-uppageblockalgorithmwithoutinfo
4、rmationmissing.Onthisbasis,withtheprobabilitydistributionofdatagettingfromstatisticalmethods,thispaperrealizestwoalgorithmsofinformationblockrecognition,oneistextsimilaritycomparisonandtheotherisBayesposteriorprobabilityestimates,andthefinalresultcomesfromtheirintersection,whichimp
5、rovestheaccuracyofinformationthemeblockrecognition.ThesealgorithmshavebeenintegratedintothepagepretreatmentmoduleofTianWangsearchengineplatform,andinSEWM2008meeting,usingthesealgorithms,weorganizedtwoChineseWebInformationRetrievalEvaluationProject,Whichtwoaretheme-basedWebpageident
6、ificationandblockextractionoftheinformationthemecontent.Inthismethod,basedonTianWangfilesystemandtheMap-Reducecomputingplatform,thispaperreportsthedistributedblock-levelPageRankalgorithm,namedQuarkRankalgorithmhere.Theactualtestshowedthatthesealgorithmsaregoodatadaptabilityandscala
7、bility,andreachaveryhighprecisionandrecall.Keywords:Web-PageBlocking,SEWM,InformationExtraction,Evaluation,PageRank40本科毕业论文毕业设计(论文)原创性声明和使用授权说明原创性声明本人郑重承诺:所呈交的毕业设计(论文),是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知,除文中特别加以标注和致谢的地方外,不包含其他人或组织已经发表或公布过的研究成果,也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过
8、贡献的个人或集体,均已在文中作了明确的说明并表示了谢