资源描述:
《分布式并行计算环境下gml空间数据的划分策略及算法研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、摘要GML具有简单性、半结构化、互操作性、开放性、通用性、灵活性等特点,因而在诸多领域得到了广泛应用。随着地理信息领域求解问题的不断拓展,所遇到的问题也越来越复杂,规模越来越大,传统GIS的空间数据存储与空间分析算法的效率优化和性能提升无法满足海量数据的存储与空间运算需求。利用分布式并行计算平台可以很好地解决这一问题。分布式并行系统的优劣很大程度取决于数据划分策略的好坏,而目前空间数据的划分方法没有考虑空间关联关系。因此针对一种适合GML空间数据的综合考虑负载平衡、邻近程度、面积平衡及空间关联关系的空
2、间数据划分方法,本文取得了以下研究成果:第一,研究分析了基于Hilbert空间排列码的空间数据划分和基于K-平均聚类算法的空间数据划分两种算法的缺点。前者在保持各结点的空间数据所占范围平衡性上表现不佳,而后者则由于初始质心的不确定性导致划分结果不稳定。第二,结合Hilbert空间排列码和K-平均聚类算法,并综合考虑对象的空间关联关系提出一种新的GML数据划分算法。该算法考虑了各结点负载平衡、对象的邻近程度、面积平衡及对象间的空间关联关系。最后,根据提出的GML空间数据划分算法,分析设计了GML分布式存
3、储系统,完成了基于Hadoop平台的分布式并行GML存储系统的数据划分模块。通过系统验证了数据划分算法的负载平衡性,并与OracleSpatial和基于K-平均聚类的空间数据划分算法的并行加速比做了比较分析,与Hilbert码划分算法做了等分区域查询效率对比。结果表明,本划分算法拥有良好的负载平衡性和优秀的并行查询效率。关键词:GML;分布式计算;并行计算;数据划分;HadoopIAbstractGMLislargelyusedbecauseofitssimplicity,half-strutted,
4、interoperability,openness,generalityandflexibilityetc.AstheGISproblemsbecomemoreandmorecomplexandthescalebecomelarger,thetraditionalGISspatialdatastorageandspatialanalyzealgorithmcannotmeettheneedofmassdatastorageandspatialanalyze.However,thisproblemcan
5、perfectlysolvedbyacomputingmodelwhichiscalledthedistributedandparallelcomputing.Theperformanceofthedistributedandparallelcomputingismostlydependedonthestrategyofthedatapartitioningwhilethecurrentdatapartitioningalgorithmsdoesnottakethespatialrelationshi
6、pstobeconcerned.Therefore,thispaperresearchesonsomespatialdatapartitioningalgorithmthatisappropriateforGML,concerningdatabalanceoneachnode,adjacencyofspatialobjects,areabalanceandspatialrelationships,andsomeinnovativearchivesarereachedasfollows:Firstofa
7、ll,pointoutthedisadvantageofthespatialdataportioningbasedontheHilbertcurveandK-meansclusteringalgorithm.Theformerperformsnotwellonbalanceoftheareaforspatialdataoneachnodeandthelattermaygetabadresultforthesakeofabadinitialcentroid.Secondary,combiningtheH
8、ilbertcurveandK-meansclusteringalgorithm,proposeanewGMLdatapartitioningalgorithm,whichtakestheloadbalance,adjacency,areabalanceandspatialrelationshipsintoconsideration.Finally,basedonthealgorithmproposed,designedtheGMLdistributed