hpphm多维数据并行io存储新策略及其性能研究

《hpphm多维数据并行io存储新策略及其性能研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4期陈志刚等：HPPHM：多维数据并行I/O存储新策略及其性能研究·65·HPPHM：多维数据并行I/O存储新策略及其性能研究陈志刚1，曾碧卿2(1.中南大学信息科学与工程学院，湖南长沙410083；2.华南师范大学南海校区计算机系，广东佛山528225)摘要：针对大型多维数据集合中数据存储访问效率较低的缺陷而进行了相应的研究，通过采用并行I/O技术，将多维数据在分布式系统的多个磁盘之间进行分布存储，通过循环拆分法将已有的数据从适用于二维数据扩展到了多维数据中，并通过对循环法进行理论分析，对多维数据存储访问进行研究，提出了

2、一种新的启发式多维数据循环策略，即基于访问步长值Hi与访问长度M互质的启发式策略(HPPHM)，实验表明了新算法在并行度和顽健性等性能方面都具有优越性。关键词：多维数据；并行I/O；存储访问中图分类号：TP338.8文献标识码：A文章编号：1000-436X(2007)04-0057-08HPPHM：newpolicyofstoreformultidimensionaldatasetofparallelI/OandresearchofretrieveperformanceCHENZhi-gang1,ZENGBi-qing2(

3、1.CollegeofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083,China;2.DepartmentofComputerEngineering,NanhaiCampus,SouthChinaNormalUniversity,Foshan528225,China)Abstract:Thepolicyofstoreandretrieveforlarge-scalemultidimensionaldatasetwasresearch

4、ed.Themultidimensionaldatasetwasallocatedinthemulti-disksamongthedistributedprocessingsystembyusingtheparallelI/Otechnology.Anewmultidimensionaldatacyclicdeclusteringpolicywasproposedaimingtodataretrievebasedonscopebyextendingexistingcyclicpolicytomultidimensionald

5、atasetfromadaptingtotwo-dimension,andbyusingtheoryanalysisonthepresentmethod,anewheuristicmultidimensionaldataretrievepolicynamedHPPHMwasproposed.Theexperimentalresulthasdemonstratedtheefficiencyofnewstrategynotonlyinparalleldegreebutalsoinrobust.Keywords:multidime

6、nsionaldataset；parallelI/O;storeandretrieve第4期陈志刚等：HPPHM：多维数据并行I/O存储新策略及其性能研究·65·1引言收稿日期：2006-04-30；修回日期：2007-01-22基金项目：国家自然科学基金资助项目(60573127)FoundationItem:TheNationalNaturalScienceFoundationofChina(60573127)在科学研究和工程设计中有时需要处理大型多维数据集合，如气候模型、物理或化学现象、地震资料以及卫星遥感数据的分析等

7、[1,2]。推而广之，关系数据库中的表也包括有若干个属性，其中的每一个属性都可以看成是多维数据中的一维[3]。对多维数据进行处理、分析的应用程序有时候需要根据多维数据中值的范围来对目标数据进行有效访问，因此需要进行多维数据分布存储策略与访问的研究。在大型多维数据集合的所有数据元素中进行数据访问，以得到满足要求的数据对象，其效率是很低的[4]第4期陈志刚等：HPPHM：多维数据并行I/O存储新策略及其性能研究·65·，因为磁盘由于其本身的机械特性而具有很高的延迟，使得数据访问的性能极大地依赖于磁盘I/O，在随机I/O磁盘访问中

8、，时间开销很大一部分是由于磁头寻道和盘片旋转延迟所引起的，因此，使用并行I/O技术，通过在多个磁盘间以并行方式进行I/O是克服这一缺陷的有效方法[5]。多维数据中的并行I/O就是将多维数据分割成若干个子数据块，将处于同一个子数据块中的数据对象存储在一起，并将所有的子数据块分布存储于多个磁盘