基于Markov预测模型的MongoDB分片集群负载均衡策略研究和验证.pdf

《基于Markov预测模型的MongoDB分片集群负载均衡策略研究和验证.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级一编号碛士蚵究嗲像伦夂题目基于预测模型的分片集群负载均衡策略研究和验证学院（所、中心）软件学院专业名称软件工程（工学）研究生姓名尹君学号导师姓名周华职称研究员年月论文独创性声明及使用授权本论文是作者在导师指导下取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不存在剽窃或抄袭行为。与作者一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。现就论文的使用对云南大学授权如下：学校有权保留本论文（含电子版），也可以采用影印、缩印或其他复制手段

2、保存论文；学校有权公布论文的全部或部分内容，可以将论文用于查阅或借阅服务；学校有权向有关机构送交学位论文用于学术规范审查、社会监督或评奖；学校有权将学位论文的全部或部分内容录入有关数据库用于检索服务。内部或保密的论文在解密后应遵循此规定）研究生签名：导师签名期：年月日摘要近年来，随着技术的飞速发展，大规模分布式数据存储技术对传统的关系型数据库带来了前所未有的挑战。关系型数据库在面对海量数据下的高速访问、大规模并发查询、非结构化数据存储以及数据库集群的横向扩展时，曰益显得捉襟见肘。因此，一种全新的数据库—非关系型数据库

3、应运而生了。在众多非关系型数据库中，越来越受到应用的青睐。本文在阐述了面向文档的特点后，重点研究了在分片集群下，默认的根据片键切分数据的机制和基于迁移的负载均衡策略。作者发现，这种基于迁移的负载均衡策略只能保证集群所存储的数据均匀地分布到各个分片节点，并没有考虑各个分片节点上的数据访问热度是否均衡。本文针对这一问题，引入随机过程，提出了一种基于预测模型的负载均衡策略。首先，对分片集群中每个的操作状态进行分类统计，用这些统计数据构成对应的齐次链，再根据齐次链的一系列特性建立分片集群负载均衡的预测模型，接下来预测模型将给

4、出下一个时间阶段负载信息的预测值，最终根据预测值进行更合理的数据迁移工作，促使分片集群达到数据访问热度层面上的均衡。最后，使用云南大学系统所提供的测试数据，搭建了分片集群的生产环境，将本文提出的基于的负载均衡策略和默认的基于迁移的均衡策略的实验结果进行对比，并对结果进行了分析。关键词：非关系型数据库；分片集群；负载均衡；随机过程AbstractInrecentyears,withtherapiddevelopmentofWeb2technology,relationaldatabaseoflarge-scaledis

5、tributeddatastoragetechnologytothetraditionalbroughthithertounknownchallenge.Therelationaldatabaseinthefaceofhigh-speedaccess,massivedataunderlarge-scaleconcurrentqueries,unstructureddatastorageanddatabaseclusterscale，—，，，，Keywords：目录摘要第一章绪论研究背景本文研究内容本文组织结构第二章分

6、片集群与负载均衡面向文档的分片集群分片概述集群成员概述分片集群处理数据请求的流程负载均衡基于片键的基于迀移的负载均衡算法性能分析随机过程概述系统状态与状态空间随机事件随机变量序列链与无后效性初始概率向量与转移概率转移概率矩阵正规转移概率矩阵与稳态概率第三章基于链的分片集群负载预测模型引用随机过程的可行性建立级链3.2.1状态空间分析随机事件描述构建链有限记忆建立级一步转移概率矩阵写操作的概率矩阵读操作的概率矩阵改操作的概率矩阵删操作的概率矩阵预测级数据访问热度操作的稳态概率操作的多步转移概率计算级数据访问热度预测级数

7、据访问热度数据迁移阈值分析迁移策略第四章负载均衡实验实验平台搭建实验数据负载测试确定参数实验流程实验结果分析单节点过热对比实验两节点过热对比实验无节点过热对比实验实验总结第五章总结与展望5.1本文研究总结后续工作与展望参考文献翻第一章绪论研究背景在大数据的时代背景下，基于的系统和应用对海量数据的存储和高效率的数据访问有很高的要求。传统的关系型数据库在面对非结构化数据的存储和数据的大量并发请求时，其处理能力日益捉襟见肘。近年来，非关系型的数据库在众多应用中逐渐扮演重要的角色市场上有许多形形色色的非关系型数据库产品。其中

8、，以其文档式的存储结构、出色的故障自动恢复技术和良好的性能扩展机制深受欢迎。的复制技术使得可以通过简单的配置即可创建数据副本，通过心跳机制实时监控这些副本的运行情况，及时发现主节点岩机、通信不可达等故障，使用选举算法快速选举出新的活跃节点，并通过完善的数据同步机制保证数据一致性，从而实现故障自动恢复‘〕。的分片技术为海量数据的存储和增强数据访问