基于HBase的海量地形数据存储-论文.pdf

《基于HBase的海量地形数据存储-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、JournalofComputerApplicationsISSN1001—90812015．07．10计算机应用，2015，35(7)：1849—1853C0DENJYIIDUhttp：／／www．joca．cn文章编号：1001-9081(2015)07—1849-05doi：10．11772／j．issn．1001—9081．2015．07．1849基于HBase的海量地形数据存储李振举，李学军，谢剑薇，李雁南(1．装备学院信息装备系，北京101416；2．96275部队，河南洛阳471003)(通信作者电子邮箱belovings@163．tom)摘要：随着遥感技术的发展，遥感数据的

2、类型和量级发生了巨大变化，对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题，提出一种四又树一Hilbert相结合的索引设计方法。首先，对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述；然后，在基于四叉树对全球数据进行组织的基础上，提出了四叉树和Hilbert编码相结合的设计思想；其次，设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法；最后，对设计的索引的物理存储结构进行了设计。实验结果表明，利用设计的索引进行海量地形数据入库。数据入库速度与单机情况相比，提高了63．79％～78．45％；在地形数据的范围查询中，设

3、计的索引与传统的行序索引相比，查询时间降低了16．13％～39．68％。查询速度最低为14．71MB／s，可以满足地形数据显示的要求。关键词：HBase；地形数据；云存储；四叉树一Hilbert索引；三维地形显示中图分类号：TP391．1文献标志码：AMassiveterraindatastoragebasedonHBaseLIZhenju，LIXuejun，XIEJianwei，LIYannan(1．DepartmentofInformationEquipment,EquipmentAcademy,Beijing101416，China；2．96275叩s，LuoyangHenan471

4、003，China)Abstract：Withthedevelopmentofremotesensingtechnology，thedatatypeanddatavolumeofremotesensingdatahasincreaseddramaticallyinthepastdecadeswhichisachallengefortraditionalstoragemode．AcombinationofquadtreeandHilbeaspatiMindexwasproposedinthispapertosolvethethelowstorageefficiencyinHBasedatas

5、torage．Firstly，theresearchstatusoftraditionalterraindatastorageanddatastoragebasedonHBasewasreviewed．SecondlythedesignideaOilthecombinationofquadtreeandHilbeaspatialindexbasedonmanagingglobaldatawasproposed．Thirdlythealgorithmforcalculatingtherowandcolumnnumberbasedonthelongitudeandlatitudeofterra

6、indata，andthealgorithmforcalculatingthefinalHilbertcodewasdesigned．Finally，thephysicalstorageinfrastructurefortheindexwasdesigned．TheexperimentalresultsillustratethatthedataloadingspeedinHadoopclusterimproved63．79％一78．45％comparedtothesinglecomputer，thequerytimedecreasesby16．13％一39．68％comparedtothe

7、traditionalrowkeyindex，thequeryspeedisatleast14．71MB／swhichcanmeettherequirementsofterraindatavisualization．Keywords：HBase；terraindata；cloudstorage；quadtree·Hilbertindex；3-dimensionalterraindatavisualization储方式提出