面向柑橘病虫害预警的Hadoop数据挖掘技术研究

《面向柑橘病虫害预警的Hadoop数据挖掘技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号______________________________密级______________________________ＵＤＣ______________________________编号______________________________全日制专业学位硕士论文面向柑橘病虫害预警的Hadoop数据挖掘技术研究学位申请人：杜涛学科专业：软件工程指导教师：汤文亮教授答辩日期：独创性声明本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写的研究成

2、果，也不包含为获得华东交通大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人签名_______________日期____________关于论文使用授权的说明本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。保密的论文在解密后遵守此规定，无保密内容。学生本人签名日期校内导师签名日期校外导师签名日期摘要面向柑橘病虫害预警的Hadoop数据挖掘技术研究摘要

3、柑橘种植产业在江西省种植业中处于重要的地位，是江西省果业工程计划的一个重点。柑橘类农作物由于其自身的生长特点，容易遭到病虫害侵袭，而病虫害一旦发生且在短时间内没有得到彻底清除，就会迅速繁衍，造成大规模性的柑橘类种植灾害，进而导致柑橘的产量和品质下降。柑橘病虫害的发生与温度、湿度、土壤等因素息息相关，因此，通过分析柑橘种植过程中的这些相关数据，改进病虫害诊断预警的数据挖掘方法，最终构建出柑橘类农作物病虫害预警系统。研究成果对我国农作物病虫害诊断预警具有一定的理论意义和应用价值。在对柑橘种植数据进行分析和处理过程中，随着历史数据量的逐渐增多，单个算法模型已经不能满足现实

4、中大数据量的分析和挖掘需求，算法的集成学习和并行化计算成为数据挖掘的主要研究方向，本文采用决策树挖掘算法，研究重点为决策树算法的集成学习及其在Hadoop中的并行化计算。首先，初步介绍基于Hadoop大数据分布式处理系统，主要包括HDFS的系统架构、运行机制和容错机制，以及MapReduce编程模型，MapReduce并行化过程，然后介绍数据挖掘过程中数据处理流程和常用的数据挖掘算法，并详细说明本文中柑橘病虫害相关数据的来源和数据预处理过程。随后，重点研究决策树挖掘算法，包括三种典型的决策树算法即ID3算法、C4.5算法和CART算法，并通过对决策树算法的集成学习，

5、提出随机森林和迭代决策树。然后，在此基础上，研究基于Hadoop平台的随机森林算法的并行化和迭代决策树算法的并行化，并通过实验对比分析这两种并行化算法的性能。最后，对柑橘病虫害发生的特征和规律做详细的分析，将并行化的决策树算法融入到病虫害预警系统中，提出柑橘病虫害预警系统的总体框架，并对系统进行详细设计，阐述系统的主要模块构成以及数据挖掘系统的数据处理流程，再通过环境部署、代码开发，得以实现系统的主要功能。关键词：病虫害预警，决策树，并行算法，Hadoop，数据挖掘IAbstractResearchonHadoopDataMiningTechnologyforEar

6、lyWarningofCitrusDiseasesandPestsABSTRACTCitrusplantingindustryplaysanimportantroleinagriculturalplantinginJiangxiProvince,anditisoneofthekeypointsofJiangxifruitindustryproject.Citruscrops,duetotheirowngrowthcharacteristics,arevulnerabletopestsanddiseases,andtheoccurrenceofpestsanddise

7、asesinashortperiodoftimehasnotbeencompletelyeliminatedandwillrapidlymultiply,resultinginlarge-scalecitrusplantingdisasters,Asaresult,theyieldandqualityofcitrusdecreased.Theoccurrenceofcitrusdiseasesandinsectpestsisaffectedbytemperature,humidity,soilandotherfactors.Therefore,byanalyzi