基于MapReduce和卷积神经网络的图像大数据分类研究

《基于MapReduce和卷积神经网络的图像大数据分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、HEBEIUNIVERSITY密级：分类号：学校代码：10075学号：20151342硕士学位论文基于MapReduce和卷积神经网络的图像大数据分类研究学位申请人：郝璞指导教师：翟俊海教授学位类别：工学硕士学科专业：软件工程授予单位：河北大学答辩日期：二〇一八年五月ClassifiedIndex:CODE:10075U.D.C:NO:20151342ADissertationfortheDegreeofMasterResearchonImageBigDataClassificationBasedonMapReduceandConvolutionNeuralNetwor

2、kCandidate:HaoPuSupervisors:Prof.ZhaiJunHaiAcademicDegreeAppliedfor:Master’sDegreeSpecialty:SoftwareofEngineeringUniversity:HebeiUniversityDateofOralExamination:May,2018河北大学学位论文独创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研宄工作。，论文及取得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外中不包含其他人己经发表或撰写的研究成果，也不包含为获得河北大学或

3、其他教一育机构的学位或证书所使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了致谢。作者签名：＾日期：年》月）日，学位论文使用授权声明本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留。并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。本学位论文属于年月日解密后适用本授权声明。１、保密□，在２、不保密／。ｊ“”（请在以上相应方格内打Ｖ）日期）：年》月日作者

4、签名导师溶日期：勿／（＿年—Ｌ月Ｉ日保护知识产权声明本人为申ｉ綱北大学学位臟交顯目为的学位论文，，是我个人在导师指导并与导师合作下取得的研究成果研宄工作及取得的研究成果是在河北大学所提供的研宄经费及导师的研究经费资助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定、。行政法规以及河北大学的各项法律的相关规定经指导和河：本北大学所，征得教师北大论文的成果归河有未本人声明如下证公和传播研和科研工作内，人保不以任何形式开科成果面同意和授权本学的书。法任。违，人愿意承担相应律责反本声明本容如果破＾Ｉｎ日來期：Ｍ

5、／＿日明人：声摘要摘要随着科学技术的进步与发展，每天产生数以万计的数据，如何从这些海量的数据中挖掘或发现有价值的知识显得尤为重要。深度学习是目前机器学习领域最热门的研究方向，轰动全球的A1phaGo就是用深度学习算法训练的。卷积神经网络是用深度学习算法训练的一种模型，它在计算机视觉领域应用广泛，而且获得了巨大的成功。然而，在单机环境下，难于处理大数据分类问题。Hadoop是一种流行的大数据开源框架，用户可方便地把大数据分类任务部署到不同的云计算结点。此外，Hadoop的MapReduce又为用户提供了方便易用的编程接口。因此，研究基于MapReduce和卷积神

6、经网络的图像大数据分类具有重要的理论意义和应用价值。本文工作主要包括两部分：（1）针对如何应用Hadoop处理大数据问题，研究了Hadoop大数据处理的原理，并以大数据压缩近邻为例，提出了基于MapReduce并行化压缩近邻算法。在Hadoop环境中，编程实现了并行化的压缩近邻算法。（2）针对图像大数据分类问题，提出了一种基于MapReduce的卷积神经网络图像大数据处理方法。该方法使用模糊积分集成在不同的云计算结点训练出的分类器，并用于图像数据分类，提出的方法能解决在单机环境下无法处理海量数据的问题。关键词深度学习卷积神经网络开源框架大数据分类模糊积分IAbstrac

7、tAbstractWiththeprogressanddevelopmentofscienceandtechnology,tensofthousandsofdataareproducedeveryday.Itisveryimportanthowtomineordiscoveryvaluableknowledgefromthemassivedata.Deeplearningisthemostpopularresearchtopicinthefieldofmachinelearning,AlphaGowhichoverwhelminglyim