基于Hadoop平台的随机森林算法研究及图像分类系统实现

《基于Hadoop平台的随机森林算法研究及图像分类系统实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、厦门大学学位论文原创性声明本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。本人在论文写作中参考其他个人或集体己经发表的研究成果，均在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学术活动规范(试行)》。另外，该学位论文为()课题(组)的研究成果，获得()课题(组)经费或实验室的资助，在()实验室完成。(请在以上括号内填写课题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。)a口缈年j、月2／f日声明人(签名)：珈移{llI

2、Ⅷ㈣删Ⅷ㈣《川舢ⅧlY2536959厦门大学学位论文著作权使用声明本人

3、同意厦门大学根据《中华人民共和国学位条例暂行实施办法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。本学位论文属于：()1．经厦门大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。(√)2．不保密，适用上述授权。(请在以上相应括号内打“√”或填上相应内容。保密学位论

4、文应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。)声明人c㈣：雩怕彩山／华年r月乙／日摘要随着互联网和多媒体技术的不断发展，海量的图像资源和数据涌入互联网，它们深刻地影响着我们的日常生活，此时对于图像内容准确地理解显得尤为重要。图像分类技术融合了机器学习、人工智能等学科的先进思想和理论，旨在将原本无序分布的大批量的图像数据进行有序地归类，是解决图像理解问题的基础。随机森林算法建立在决策树模型基础之上，它是多棵决策树的组合，在分

5、类场景中得到广泛应用。作为～种优秀的分类器模型，也为图像分类提供了新的思路。但当图像资源的数据量特别大时，分类将是一个十分耗时的过程。为了解决以上问题，本文结合Hadoop开源分布式计算平台，研究图像处理过程的并行化以及利用MapReduce并行计算模型对随机森林算法进行了分布式并行设计以提高对大规模图像分类的效率。首先，本文介绍了Hadoop平台，主要包括HDFS文件系统以及MapReduce框架：接着，分析了图像分类的关键技术，总结了图像分类中常用到的一些特征，重点介绍SIFT特征和BagofvisualWbrds特征代表的实

6、现过程，并阐述了几类重要的模式分类方法；随后，重点介绍随机森林算法，并在此基础之上，结合MapReduce计算框架，对随机森林模型构建过程进行双重并行化的改进，以提高随机森林算法的运行效率；然后，基于以上研究成果，本文构建了基于Hadoop平台的图像分类原型系统，包括Had00p平台下处理图像接口的实现、基于DenseSiR算法的特征采样过程、基于BoVW模型表示图像、构建图像的空问金字塔模型和利用改进后的随机森林算法进行分类器的训练共五个部分。最后，通过实验验证了基于Hadoop平台的图像并行化处理地有效性，同时证明并行化的随机

7、森林算法相比较于单机版的随机森林，处理过程所消耗的时间大为缩短，并取得了不错的分类效果。基于Hadoop平台的图像并行化处理过程，大大提高了海量图像处理过程的速度，同时针对于图像分类，改进后的随机森林算法在效率上有了明显的提高。关键词：图像分类；随机森林；Hadoop；SIFT；词袋模型AbstractWiththedevelopmemofIntemetandmultimediatechn0109y，large。scaledigitalimageaJlddatahascomeintoIntemetandcha工19eourliVe

8、s．n’sVeryimponantto1etcomputerunderstandimage’scontentindetail．Inte唱ratedwithothersubjectslikemachineleaming，anificialintelligenceaIldetc，thegoalofimageclassificationtechnologyistocategorizealargenumberofdigitalimagesimoacertanclassautomatically．ImageclassificationisV

9、eryimponanttosolVeimageunderStandingproblem．RaJldomforestalgorithmisbasedondecisiontreemodel．Itismadeupofaseriesofdecisiontr