车载环境下基于异构hadoop的云端存储技术研究

《车载环境下基于异构hadoop的云端存储技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＂．－’、Ｌ一＇、：．．－－ｆ一＇■－，一记单位代码‘：１０２９３密级：Ｍ－；—矮巧’Ｉ－’．．—：？戸ｒ；、、＇？－－ｒ＜－１Ｊ■，互７嘴片＇一．識雀若您；考來緣像硕去化矣＇＇＇－与＞、：论文题目：车载环境下基于异构Ｈａｄｏｏ。的云端存储技术研究学号１２１３Ｑ１２２Ｑ２姓名曾疾宏—导师刘南杰．专业学位类别工程硕±＇Ｔ■类全日制？、、Ｖ■节．屯＇、‘

2、’专业（领域＞电八＾子与猜信工揺嗦＇；与；＇论文提交日期—、二〇六年四月，若離無攀皆嗜■－■‘．．－／，．＇，、一■＾ｙ＇＊－一．本人声明所呈交的学位论文是我个人在导师指导下进行的研巧工作及取得的研巧成果。，论尽我所知，除了支中特别加示注和致谢的地方外文中不包含其他人己经发表或撰与过的研巧成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。－与我阿Ｘ作的同志对本研巧所做的任何贡献均己在论文中作了明确的说明并表示

3、了谢意。一本人学位论文及涉及相关资料若有不实，應意承担切相关的法律责任。口口知若Ｉ考Ｕ円期，／今研究生签名：：？南京邮电大学学位论文使用授权声明本人授权南京邮电大学可呆留并向国家有关部口或机构送交论文的赁印件和电子文档；允许论文被查阅和借阅；可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索：可獻采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文一致。论的内容相文的公布（包括刊登）授权南京邮电大学硏究生院办理。涉密学位论文在解密后适用本

4、授权书。研究生器名：＿导师签名：占ｆ东Ｉ手日期：知．。今。？入ResearchonthecloudstoragetechnologybasedonheterogeneousHadoopundervehicularenvironmentThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByZengQingyunSupervisor:Prof.LiuNanjie

5、April2016摘要车联网正日益深入到我们的生活，为我们提供各种各样的服务。庞大的车联网系统会产生海量数据，因此车联网的云计算平台就成为车联网信息化的关键。一直以来Hadoop在云计算领域的表现突出，尤其是具有低成本和高效率的特性，其市场认可度越来越高。Hadoop集群的硬件环境在部署之初一般都是同构的，但是随着对集群硬件不断的扩展、升级和改造，原来针对同构硬件环境的存储方案已难以满足当前异构集群的需求。针对该问题，本文研究了一种基于数据温度和节点性能来改善异构Hadoop集群读写性能的方案，主要工作如

6、下：首先，为了更准确地获取特定Hadoop应用场景下的集群节点性能，本文研究了一种基于多元线性回归模型（MultivariableLinearRegressionModel,MLRM）的节点性能计算方法。该方法首先利用基准性能测量工具获取节点的磁盘读写速率、内存的随机访问存取速率以及CPU的运算速率，其次建立节点性能和三个参数之间的线性回归模型来计算各节点的性能。基于Hadoop的实验分析表明，本文所提出的模型计算的节点性能值与实验所得节点性能值相吻合，验证了前述模型的可行性。其次，针对异构Hadoop集

7、群存储性能下降的问题，本文研究了一种基于节点性能和数据温度的存储方法。该方法在Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）异构存储方案基础上，考虑了同类型存储介质节点之间的性能差异，通过建立数据温度和存储策略之间的映射关系，将访问频度高和时间度新的文件存放在性能更好的节点上，实现集群中的能者多劳。实验结果表明，该方法对部署Hadoop集群的车联网云平台的读操作有显著的改善。关键词:大数据，异构集群，数据温度，节点性能，HadoopIAbstractInte

8、rnetofVehiclesisincreasinglyaffectingourlivesanditcontainsmassivevaluabledata,hencethecloudcomputinginInternetofVehiclesisbecomingmoreandmoresignificant.Asaleaderincloudcomputing,Hadoopisincreasinglypopularinbigdata