高并发集群监控系统中内存数据库的设计与应用

《高并发集群监控系统中内存数据库的设计与应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机应用与软件ComputerApplicationsandSoftware收稿日期:2010-03-29。上海市科委科研计划项目资助（08511500902，08511501903）。周游弋，硕士，主研领域：Web数据处理，内存数据库。高并发集群监控系统中内存数据库的设计与应用周游弋１　金　城２１(复旦大学计算机科学技术学院　上海200433)２(复旦大学计算机科学技术学院　上海200433)摘　要在具有大量并发连接的高并发集群监控系统中，传统磁盘数据库由于内外存交换开销过大，无法支撑数据的实时存储与处理，因此

2、大量实时系统都选择采用内存数据库作为数据支撑模块。从介绍内存数据库的关键技术点出发，通过引入虚拟影子内存和粗粒度意向锁来分别改进内存数据库的数据组织和并发控制，设计实现了一个用于支撑高并发集群监控系统的高效内存数据库模块，并且研究了其在实际系统中应用情况。关键词内存数据库　数据组织　并发控制DESIGNANDAPPLICATIONOFMAINMEMORYDATABASEINHIGH-CONCURRENCYCLUSTERMONITORINGSYSTEMZhouYouyi1JinCheng21(SchoolofComp

3、uterScienceandTechnology,FudanUniversity,Shanghai200433，China)2(SchoolofComputerScienceandTechnology,FudanUniversity,Shanghai200433，China)AbstractInareal-timeclustermonitoringsystemwithlargeamountofconcurrentconnections,traditionaldiskresidentdatabasesystemsar

4、eunabletoprocessdatainrealtimeduetoconsiderableoverheadscausedbyI/Oswappingoperations.Thereforemanyreal-timesystemsadoptmainmemorydatabasesystemsasdatasupportmodules.Afterintroducingsomekeytechniquesusedinmainmemorydatabases,weproposeadesignandimplementationth

5、atisimprovedindataorganizationandconcurrencymanagementbyvirtualshadowmemoryandcoarse-grainedintentsharelock.Italsopresentsthedatabase’sapplicationstatusinareal-timeclustermonitoringsystemwithhighconcurrencies.KeywordsMainmemorydatabaseDataorganizationConcurren

6、cymanagement周游弋等：集群监控系统中内存数据库的设计与应用30引　言随着应用程序功能变得越来越复杂，高性能计算集群正在被大量投入到各种规模的计算系统中。在各种集群系统中，高并发集群主要用于处理在同一时刻有大量同步事务的应用。随着集群规模的不断增大，根据概率推算可知整个集群的故障率会变得越来越高，对于集群系统中各个计算节点的各种状态信息进行实时的检测就是十分必要的。检测所得数据必须实时存储于数据库中。在高并发集群中，各种事务的并发度非常之高，每个事务的操作都必须限制在几十个甚至十几个微秒之内，传统的基于磁

7、盘文件的数据库系统在处理这种事务时候就会显得力不从心，因为磁盘I/O操作的时间不确定性消耗了大量的CPU计算时间[6]，在这种情况下可以引入内存数据库作为数据信息的存储手段。内存数据库，顾名思义就是将数据放在内存中直接进行操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高性能，同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中的特点重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的

8、数据处理速度要快很多，一般都在10倍以上。本文从实际应用出发，针对内存数据库的特点和应用程序的要求设计实现了一个支撑高并发集群监控系统的内存数据库系统，并且研究了该数据库在实际环境中的应用状况。1内存数据库的关键技术1.1数据组织与传统的关系型数据库类似，内存数据库中的数据也基于关系表来组织和管理；与传统基于磁盘的数据库不同，内存数据库中的数据需要全部或者大