基于hadoop云平台的海量数字图像数据挖掘的研究

《基于hadoop云平台的海量数字图像数据挖掘的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、申请上海交通大学硕士学位论文基于Hadoop云平台的海量数字图像数据挖掘的研究学校：上海交通大学院系：信息安全工程学院班级：B1003692学号：1100369048专业硕士生：张良将专业：计算机技术导师：宦飞上海交通大学信息安全工程学院2013年1月万方数据ADissertationSubmittedtoShanghaiJiaoTongUniversityfortheDegreeofMasterRESEARCHONMASSIVEDIGITALIMAGEDATAMININGBASEDONHADOOP

2、CLOUDPLATFORMAuthor:ZhangLiangjiangSpecialty:ComputerTechnologyAdvisor:HuanFeiSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinathJanuary10,2013万方数据万方数据万方数据上海交通大学专业硕士学位论文摘要基于Hadoop云平台的海量数字图像数据挖掘的研究摘要在过去的数十年里，计算机与网络技术得到了飞

3、速发展，极大地推动了社会各方面的发展。计算模式经历了大型机时代的终端-主机模式，个人计算机时代的客户机-服务器模式，以及目前互联网时代的浏览器-服务器模式，直到最近几年的云计算模式。云计算是一种新兴的计算模式，它是并行计算、分布式计算、网格计算的综合发展，以简单、透明的服务的形式提供无限制的计算资源。云计算的基本原理是将计算、存储及软硬件等服务分布在非本地的大量计算机构成的资源池上，用户通过网络获得相应的服务，从而有效的提高资源利用率，实现了按需获取，按时收费。虚拟化技术、分布式并行计算、分布式存储

4、以及分布式数据管理是实现云计算的关键技术。随着图像获取和图像存储技术的迅速发展，使得我们能够获得大量有用的图像数据，如卫星遥感图像数据、医学图像数据等。图像数据挖掘就是对这些有用的图像进行分析并从中提取有用的信息。如何对这些日益增多的图像进行有效的存储和快速的数据挖掘，成为我们面临的最大问题。本文尝试利用Hadoop云平台来进行海量数字图像的数据挖掘。借助于Hadoop的分布式文件系统HDFS与分布式并行计算框架MapReduce，在现有的数据挖掘和数字图像数据挖掘的理论与技术基础上，来实现海量数字

5、图像数据挖掘，可以解决上述的问题。本文具体完成了以下工作：第I页万方数据上海交通大学专业硕士学位论文摘要1、总结了云计算的相关知识及发展历程，分析了Hadoop实现的开源云平台。对现有的数据挖掘与数字图像数据挖掘的理论与技术进行归纳和总结。2、设计了基于Hadoop的MapReduce并行计算框架实现数字图像并行化处理的键值对的类型，和数字图像文件的输入与输出格式。通过实验证明了基于Hadoop的MapReduce可以实现数字图像的并行化处理。3、设计了如何利用Hadoop云平台来构建海量数字图像数

6、据挖掘的系统，并对该系统进行了展望。关键词：云计算，Hadoop，HDFS，MapReduce，数据挖掘，数字图像数据挖掘第II页万方数据上海交通大学专业硕士学位论文ABSTRACTRESEARCHONMASSIVEDIGITALIMAGEDATAMININGBASEDONHADOOPCLOUDPLATFORMABSTRACTInthepastfewdecades,ComputerandInternettechnologyhavegotrapidlydevelopment,whichhavegrea

7、tlypromotedthedevelopmentofallaspectsofthesociety.ComputingmodelhasundergonetheTerminal-Hostmodelofthemainframeera,theClient-Servermodelofthepersonalcomputerera,theBrowser-ServermodelofthecurrentlyInternetera,andtheCloudComputingmodeluntilrecentyears.C

8、loudcomputingisanemergingcomputingmodel,whichistheintegrateddevelopmentofparallelcomputing,distributedcomputingandgridcomputing,providingunlimitedcomputingresourcesintheformofsimpleandtransparentservices.Thebasicprincipleofcloudcomputin