基于映射%2f规约的网页聚类算法研究

《基于映射%2f规约的网页聚类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：鬻f：UDC：’、密级：编号：工学硕士学位论文基于映射／规约的网页聚类算法研究硕士研究生：指导教师：学位级别：学科、专业：所在单位：论文提交日期：论文答辩日期：学位授予单位：于治海国林副教授工学硕士计算机应用技术计算机科学与技术学院2010年12月8日2011年3月哈尔滨工程大学＼1ClassifiedIndex：‰U．D．C：．rYk～“’．、≯～I，■ADissertationfortheDegreeofM．EngResearchofWebClusteringBasedonMapReduceCandidate：YuZh

2、ihaiSupervisor：AcademicDegreeAppliedfor：Specialty：DateofSubmission：DateofOralExamination：University：AssociateProf．GuoLinMasterofEngineeringComputerAppliedTechnologyDec．8，2010Mar，2011HarbinEngineeringUniversity41P√t，、‘●p，，’pk●鼙’、●-'I哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是

3、在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。、、石作者(签字)叫歹台移日期：0夕11年≥月Ⅵ日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论文的

4、复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文(函在授予学位后即可口在授予学位12个月后口解密后)由哈尔滨工程大学送交有关部门进行保存、汇编等。作者(签字)：—j步g彩日期：山11年≥月Ⅵ日新。㈣：良山f1年；月纠日彳，，●9—4p广～．yk^‘～勺基丁．映射／规约的网页聚类算法研究摘要随着

5、网络应用的普及化，网络信息量飞速的增长。因此，人们如何在海量的数据中获取有用的知识变得越来越重要。通过长时间的研究与探索，人们提出了数据挖掘技术，该技术是一门多专业交叉、综合的学科，使用该技术可以有效的将用户所需的知识提取出来，聚类分析是数据挖掘领域中的重要的内容和基本工具之一。数据量呈级数的增长和应用开发的复杂性严重阻碍了多核处理器和多处理器系统发展，进而导致数据不能有效的利用。经典的处理方法是开发一个具有信息传递接口(MPI)的分布式系统，由于该接口在并行应用中只能提供细粒度控制，因此，经典方法的抽象性和复杂性超出了现有

6、的计算能力。与传统的分布式系统相比，映射／规约框架提供了一种比MPI更高级的抽象概念，可以被应用于许多数据密集型的批量处理任务中，并且该框架的抽象性和复杂性在现有的计算能力范围内能够被处理。本文在并行计算与映射／规约编程框架研究分析的基础上，对映射／规约框架进行了理论上改进，使改进后框架的计算处理性能提高。在改进框架的基础上，实现了一种基于映射／规约的MRK-Means算法，该算法采用迭代操作的计算，能够实现多次执行映射／规约操作，同时将该算法与网页的海量、动态、更新快等属性特征相结合，提出一种具有属性特征的在线OMRK-M

7、eans算法，该算法能够提高在线聚类方法的伸缩性和聚类精确度，并且缩短了聚类操作时间，有效的处理增量式数据。通过实验表明，基于映射／规约框架的MRK-Means算法在保证执行效果的基础上，与传统K-Means算法相比，有效地提高了聚类的速度。通过对OMRK-Means算法的收敛性和执行时间、精确度和伸缩性进行试验分析，表明本文提出的在线OMRK-Means算法在数据并行增量的情况下，能加快大型数据集的交互分析，提高聚类处理的精确度，并且有利于可伸缩的网页挖掘。关键词：聚类；并行；映射／规约；网页哈尔滨T程大学硕十学位论文0≯

8、。pkz’h～、_、≮基于映射／规约的网页聚类算法研究AbstractWiththepopularityofnetworkapplicationsandnetworkinformationisgrowingrapidly，inthefloodofdatatoobtainusefulknow