云环境下数据模型和索引技术研究

《云环境下数据模型和索引技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码：10293密级：硕士学位论文论文题目：云环境下数据模型和索引技术研究1010041121学号孙春菊姓名程春玲导师计算机应用技术学科专业计算机在通信中的应用研究方向工学硕士申请学位类别二零一三年四月论文提交日期ResearchonDataModelandIndexTechnologyintheCloudThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringBySunChunjuSupervisor:Prof.ChengChunlingA

2、pril2013南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生签名：_____________日期：____________南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文

3、的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________摘要随着计算机和互联网技术的迅猛发展，数据量急剧膨胀，传统的数据模型和索引技术已经无法满足大数据管理的需求。因此，对这些海量数据进行有效的管理就成为传统数据管理面临的主要挑战。作为一种新的计算平台，云计

4、算一经提出就吸引了学术界和企业界的广泛关注。针对云计算应用的特点和需求，借鉴传统数据管理技术的理念，研究面向云计算环境的数据模型和索引技术己经成为一个重要的研究课题。本文主要作了以下三个方面的工作：（1）介绍了云计算的基本概念、特点和发展，并重点总结和分析了现有云环境下的数据模型相关技术和索引技术的研究现状。（2）针对云环境下典型的key-value数据模型无法有效支持用户的多种查询方式，如范围查询和非主键查询等，本文提出了一种基于P-Ring的改进数据模型Key-MultiValue。Key-MultiValue通过将key-value中value的属性进行分解，并按照查询热

5、度动态改变所分解的属性以支持非主键的查询。另一方面，为了支持范围查询，本数据模型采用P-Ring结构对数据进行分区，同时为了解决P-Ring没有考虑到各个存储节点自身性能差异的不足，引入了节点性能状态参数。最后通过实验及结果分析表明，本数据模型能够有效支持范围查询和非主键查询，提高了查询成功率和查询吞吐量。（3）现有云计算平台大多支持简单的基于主键的查询，无法高效地支持相似性查询，且随着数据维数的增大，现有树型索引易造成维数灾难问题。针对上述不足，提出一种新的索引结构：VF-CAN。VF-CAN结合了基于路由协议的内容寻址网络（ContentAddressableNetwork

6、，CAN）和改进的矢量近似文件索引（VectorApproximationFile，VA-File）。该索引架构采用全局索引和局部索引两级索引模式。局部索引使用改进的VA-File，即对VA-File的近似矢量按照距离相近程度进行k-means聚类。在全局索引中，以覆盖网CAN组织存储节点，为减少成本估计代价，只将局部VAK-File索引的聚类信息通过CAN接口公布到整个覆盖网络。最后通过实验结果及分析表明VF-CAN提高了系统的吞吐量，有效地提高了数据的查询性能。关键词:云计算，数据模型，key-value，索引，聚类IAbstractWiththerapiddevelopm

7、entofcomputerandInternettechnologies,theamountofdatahasexpandedrapidly.Traditionaldatamodelandindextechnologyhavebeenunabletosatisfytherequirementsofmassivedatamanagement,whichbecomesamajorchallengefortraditionaldatamanagement.Asanewcomputingplatfo