分布式海量数据储存系统负载均衡算法的优化设计与实现

《分布式海量数据储存系统负载均衡算法的优化设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS（电子科技大学图标）论文题目分布式海量数据储存系统负载均衡算法的优化设计与实现学科专业无线电物理学号201021040346作者姓名许俊红指导教师杨雪松万方数据分类号密级注1UDC学位论文分布式海量数据储存系统负载均衡算法的优化设计与实现（题名和副题名）许俊红（作者姓名）指导教师杨雪松副教授电子科技大学物理电子学院（姓名、职称、单位名称）申请学位级别硕士学科专业无线电物理提交论文日期2013.

2、4论文答辩日期2013.5学位授予单位和日期电子科技大学2013年6月29日答辩委员会主席杨宏春评阅人肖绍球邵维注1：注明《国际十进分类法UDC》的类号。万方数据DESIGNANDIMPLEMENTATIONOFLOADBALANCINGALGORITHMINADISTRIBUTEDMASSDATASTORAGESYSTEMAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:RadioPhysicsAuthor:XuJunhongA

3、dvisor:YangXuesongSchool:PhysicalElectronics万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或

4、机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据摘要摘要信息社会给人们带来便利的同时也产生了大量的数据，关系型数据库由于其架构缺陷不适用于处理大数据。目前比较常用的存储和处理海量数据的系统是是NoSQL(NotonlyStructuredQueryLanguage)数据库。显然，如何协同这些独立的计算机高效地完成任务是十分重要的，这

5、就是负载均衡的作用。负载均衡是既定硬件架构下整个系统性能的关键，近些年来随着云计算的兴起迅速成为研究热点。论文在研究了常用的NoSQL系统和负载均衡技术的基础上，设计了一种新的负载均衡算法。这种算法综合利用了大数据处理系统本身的特点，具有较好的性能。同时该算法还能在最优节点已经被占用的情况下迅速找出次最优节点等，非常适合用于高并发系统的负载均衡。由于内存比磁盘的寻道速度大约快十万倍，为了提高响应速度，人们总是希望将尽可能多的数据由磁盘提前加载进入内存。但内存容量比磁盘小很多，因此内存容量往往成为大数据处理系统的瓶颈。为了提高内存的使用效

6、率，本文提出了一种类似内存池的方法来重写管理内存分配的配置器，使内存的有效使用率得到了很大的改善。本文的主要工作包括：首先，研究了常用的NoSQL数据库和负载均衡算法，设计和实现了一个效率较高的负载均衡算法。通过引入节点与兄弟节点的子节点的关系，并辅之以旋转操作，有效降低了整棵排序二叉树的高度，使算法的时间代价从常用的加权轮询算法的O(N)降为O(logN)，而空间代价保持在O(N)不变。论文中除了提供算法实现的伪代码以外，还对算法进行了分析并提供了流程图，可以根据流程图方便地移植到其他相似的系统中。配置器负责内存的分配和回收，默认的配

7、置器具有效率不高、易产生内存碎片等弱点。本文通过采用内存池的思想优化了配置器，通过一次性从内核申请较大的内存并自己维护，提高了内存分配和使用的效率。此外，还根据不同的场景实现了多种配置器，并实现了配置器的参数化设置，使配置器可以根据使用场景通过脚本实现不同的配置，从而可以动态地对系统进行调节。最后，搭建了测试环境，并对该算法和内存优化进行了测试并对全文进行了总结和展望。关键词：非关系型数据库，内存优化，负载均衡I万方数据ABSTRACTABSTRACTInformationSocietybringsgreatconveniencetop

8、eople,atthesametimeproduceslargeamountsofdata.Duetoitsstructuredefects,thetraditionalrelationaldatabase