hadoop 平台下森林物联网多环境参数关联研究

《hadoop 平台下森林物联网多环境参数关联研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Hadoop平台下森林物联网多环境参数关联研究　　摘要：基于南京某森林TB量级关于无线传感器网络持续记录的森林的大气温度、土壤湿度以及土壤温度的大数据，利用Google公司的Hadoop云计算平台对数据进行分析，进而研究气温、土壤湿度对土壤温度的影响。利用Hadoop平台下的MapReduce框架对传感器传回的数据进行噪声处理、二次排序等操作，并综合利用MATLAB、SPSS等软件对数据进行综合处理分析，进而研究气温土壤湿度对土壤温度的影响，而土壤温度对植株处于良好的生长状态具有重要现实意义[1]。　　关键词：大数据；云计算；物联网；Hadoop；MapReduce　　中图分类号：TP391

2、文献标识码：A文章编号：1009-3044（2015）30-0200-04　　ResearchonRelevancebetweenMultipleEnvironmentalParametersinInternetofThingsforForestBasedonHadoop　　YANGBo-wen，WANGZi-yan，LIUXiao-feng，ZHUZheng-li　　（SchoolofInformationScienceandTechnology，NanjingForestryUniversity，Nanjing210037，China）　　Abstract：TheTBlevelofdat

3、aabouttheatmospherictemperature，soilmoisture，andsoiltemperatureinNanjing’sforestismeasuredbyWirelessSensorNetworks.ResearchersuseGoogle’sHadoopcloudcomputingplatformtoanalyzethesedata，7andthenstudytheeffectoftemperatureandsoilmoistureonsoiltemperature.ResearchersuseframeworkoftheMapReducetocarryout

4、thedataofthesensordataprocessing，sorting.Intheend，researchersuseMATLAB，SPSSandothersoftwaretoanalyzethedata，andthentostudytheeffectoftemperatureandsoilmoistureonsoiltemperature，whichisconsideredofstrategicimportanceforplantgrowth.　　Keywords：bigdata；cloudcomputing；InternetofThings；Hadoop；MapReduce　　

5、1概述　　Hadoop是Google公司提出的一个针对大量数据进行分布式处理的软件框架，并且实现了高吞吐率的数据读写以及强大的数据处理能力[2]。针对南京某森林TB量级关于传感器持续记录的森林的大气温度、土壤湿度、以及土壤温度的大数据，要对这大量的数据进行处理，研究它们之间的关系，使用传统的数据处理方法已不太适用。另外，传感器本身较脆弱，由于仪器损坏、电量不足等问题会产生大量的噪声数据，而对大量的噪声数据的处理，也是传统数据分析方法的难题。应用Hadoop平台对大量数据的处理具有十分大的优势。7　　该研究首先会利用Hadoop平台的MapReduce框架对数据进行初步去噪、去重操作，去除一部

6、分无效数据。然后会对数据按气温递增的方式进行排序，如果气温相同，则按土壤相对湿度递增的方式排序。对数据排序的目的是为了方便取出气温相同的数据，进而研究土壤湿度和土壤温度之间的关系。接下来，则按一定方式取出部分数据，进行数据拟合。该研究会利用MATLAB进行数据拟合，从而对气温、土壤湿度与土壤温度的关系进行回归分析，以及会使用SPSS等软件对数据进行分析。　　2数据处理方法　　2.1MapReduce编程模型　　MapReduce是Hadoop平台下的一种处理大数据的并行编程模型框架，对于处理TB级及以上的大规模数据效果显著，并且它是一种标准的函数式编程模型[3]。MapReduce模型大致分

7、为3个阶段，分别是数据初始阶段，Map和Reduce阶段，以及数据汇总阶段。MapReduce使用的是“分而治之”的处理思想，它把对大规模数据集的处理操作“分而治之”，处理思想是先把数据分发给一个主节点管理下的各个分节点，这个过程一般被称为Map过程。接下来，各个分节点完成数据的处理，然后将各自的结果整合，这个过程一般被称为Reduce过程。最后汇总为最终的结果。　　MapReduce数据的处理方法是始终以的