基于nosql存储系统的研究与应用

《基于nosql存储系统的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP399单位代码10618密级公开学号2130070004硕士学位论文基于NoSQL存储系统的研究与应用研究生姓名：梁力源导师姓名及职称：梁宗保教授申请学位类别工学硕士学位授予单位重庆交通大学一级学科名称计算机科学与技术论文提交日期2016年4月7日二级学科名称论文答辩日期2016年5月27日2016年6月10日ResearchandApplicationaboutNoSQLstoragesystemsADissertationSubmittedfortheDegreeofMasterCandidate:LiangLiYuanSupervisor:Prof.LiangZong

2、baoChongqingJiaotongUniversity，Chongqing，China摘要传统关系数据库具有良好的可扩展性、高可用性、高稳定性，得到了广泛使用。但关系数据库毕竟是通用型的数据库，存在灵活性不足，大数据量情况下响应速度慢等问题，因而不能完全适用于大数据时代互联网应用的需求。鉴于此，研究人员研发了各种各样数据库技术弥补关系数据库的不足。其中以NoSQL为代表的新型数据库因数据模型灵活、响应速度快，可扩展性强等优点越来越受到人们的关注，但是现有很多系统是基于关系数据库的，如何从现有关系数据库系统中引入NoSQL数据库，让关系数据库和NoSQL数据库各自发挥其优秀的性能

3、仍是目前急需解决的问题。本文依托于实际开发的项目——校园58分类信息平台，在关系数据库基础上引入NoSQL数据库，研究两者在深度融合方面的关键技术，包括建立了以关系数据库为主库，以Redis为从库的异构读写分离方案、数据同步技术、客户端分片集群均衡技术等。主要完成以下几个方面的内容。①针对原有MySQL系统单一存储架构，引入了Redis这种新型的NoSQL数据库，改进存储系统的整体架构方案，让MySQL负责存储所有数据，提供持久化支持，Redis数据库负责缓存数据结构简单、读取频率高的数据。服务器接收到写入请求时，直接往MySQL中写入数据，并定时同步热点数据到Redis中。服务器接

4、收到读操作请求时，首先在Redis中读取数据，读取失败再从MySQL中读取数据。从而实现了存储系统读写分离，提高了大数据量高并发情况下系统访问效率。②根据大数据量存储迁移的需求，在分析、总结现有存储结构和数据迁移技术的基础上，设计了合适的数据存储结构，利用Redis管道机制对数据迁移方案进行改进；同时在大数据量情况下采用hash结构、简化键名的方式节约内存；通过多线程合并操作减少网络开销，提高系统运行效率。③随着用户量越来越多，数据量越来越大，单台数据库服务器满足不了日益增长数据量的需求，需要在系统中实现分布式数据库集群。本文针对现有Redis分布式集群负载均衡技术存在的不足，提出了

5、带冗余数据的一致性hash算法，优化了现有Redis客户端分片集群的负载均衡技术，提高了系统稳定性、可用性。最后把研究成果应用到校园58分类信息平台中。结果表明，系统能长时间稳定运行，个别服务器出现故障不会影响系统运行，改进后的数据迁移率明显提高，在高并发情况下，改进后的存储系统整体性能高于原来的存储系统。关键词：信息存储优化，Redis优化，一致性hash，客户端分片IABSTRACTTraditionalrelationaldatabasehasgoodscalability,highavailability,highstability,andhasbeenwidelyused.

6、But,afterall,therelationaldatabaseisauniversaldatabasewhichislackofflexibilityandinthecaseoflargeamountsofdata,itexistsslowresponseandotherissues,andthuscannotbefullyapplicabletotheneedsofInternetapplicationrequirements.Inviewofthis,researchershavedevelopedavarietyofdatabasetechnologytomakeupth

7、eshortcomingsofrelationaldatabase.NoSQL,therepresentofnewdatabasewhichresponsesfasterandmoreflexible,andthestrongscalabilityadvantagecangetmoreandmoreattentionofpeople.Butmanyexistingsystemisbasedontherelationaldatabase,howtointro