大数据环境下农业信息资源的存取研究

《大数据环境下农业信息资源的存取研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP302密级大数据环境下农业信息资源的存取研究研究生姓名：张清清指导教师姓名、职称：李长云教授学科专业：计算机系统结构研究方向：物联网与嵌入式系统湖南工业大学二〇一六年六月五日分类写ＴＰ３０２密级ｔ大数据环境下农业信息资源的存取研究Ｒｅ化ａｒｃｈｏｆ化ｅＡｃｃｅ化ｏｆＡｇｒｉｃｕｌｔｕｒａｌＩｎｆｂｒｍａｔｉｏ打ＲｅｓｏｕｒｃｅｉｎＢｉｇＤａｔａＥｎｖｉｒｏｎｍｅｎｔｉ研究生姓名；张清清、职称指导教师姓名；李长云教授学科专业；计算机系统结构

2、研究方向；物联网与嵌入式系统锭是论文答辩曰期答辦蚕ａ会主席孩湖南工业大学二〇—六年六月五日湖南工业大学学位论文原创性声明本人郑重声明：人在导师的指导下，独所呈交的学位论文，是本立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体。，均已在文中Ｗ明确方式标明本人完全意识到本声明的法律结果由本人承担。作者签名；沁本廣曰期；人《年＾月＾曰湖南工业大学论文版极使用授极书本

3、人了解湖南工业大学有关保留，目；、使用学位论文的规定Ｐ学校有权保留学位论文，允许学位论文被查阅和借阅；学校可Ｗ公布学位论文的全部或部分内容，可采用复印、缩印或其他手段保存学位论文；学校可根据国家或湖南省有关部口规定送交学位。作者签名师签名日期；年＾月呼日歹方＇；、－摘要随着我国农业的迅速发展，农业研究领域积累了大量的数据，如何高效存储、处理及最大限度利用现有农业数据，成为当今时代面临的重要课题。另外，Hadoop已经在大数据领域广泛使用，并被应用于多种领域。因此，本文结合农业数据及H

4、adoop平台的特征，提出将该平台应用于农业领域，在该平台上存储及处理现有农业信息资源数据。本文主要研究内容如下：(1)农业大数据的分析。本文中分析了当前国内外农业数据的组织与管理现状，总结概括了我国农业大数据的特征和存储现状。(2)农业大数据存储与索引结构的设计。根据我国农业大数据的特征，设计了一种基于不同类型农业数据特征的数据存储结构并对不同类型的数据设计了相应的数据缓存策略。为了有效提高对数据的查询、处理效率，对数据的索引机制进行了改进，提出了一种二级索引机制，优化了数据存储空间到数据分区、数据分区到真

5、正数据存储节点的数据索引方式，为对当前多种不同结构的农业数据的管理提供了一个统一的数据存储平台。(3)k-NearestNeighbor查询算法的区域划分方法的改进及该算法的并行化设计。为了实现对已存储在上述数据库中的农业数据进行高效查询，对广泛使用的k-NearestNeighbor查询算法中的区域划分方法进行了改进，不再采用以往的规则区域划分方法，提出了一种基于不规则区域划分方法的k-NearestNeighbor查询算法，并根据大数据处理框架MapReduce的运行机制对其进行了并行化处理，然后将该优化

6、后的算法应用在MapReduce框架上，有效提高了该算法的对大数据的处理能力。关键词:大数据，农业数据存储，二级索引，不规则区域划分方法，k-NearestNeighbor查询算法IABSTRACTWiththefastdevelopmentofChina'sagricultural,aconsiderableamountofagriculturaldataisaccumulatedafterlongterm’sresearchinagriculturesciencesandanalysisofrelevan

7、tdata.Atthesametime,thewidelyuseddistributedbigdataplatform—HadoophasbeenappliedatsomanydomainsthatthispaperproposedtotakeHadoopasthedataprocessingplatformtostorageanddealwiththeexistingagriculturalbigdata,undertheconsiderationoffeaturesofHadoopandcharacter

8、isticsofagriculturaldatainourcountry.Mainworksofthispaperareasfollows:(1)Analysisofagriculturalbigdata.Thispaperanalysesthecurrentsituationofthelargevolumeofspatialdatainagriculturalbothathomeandatabro