【内存大数据库】内存大数据库地原理及应用

《【内存大数据库】内存大数据库地原理及应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用文档内存数据库的原理及应用摘要近年来，数据库系统在各种领域中扮演了关键角色，但传统的基于磁盘的关系数据库系统却不能满足上述应用高性能、实时/近实时数据访问的要求，内存数据库系统则可以很好地满足各种应用系统的实时数据管理需求，本文主要阐述了内存数据库的基本概念，并对其和传统基于磁盘的数据库进行了比较，此外对其在内存中的数据管理方式有一定的介绍。1.内存数据库概述以及内存数据库技术的发展内存数据库，也称主存数据库，是一个较新的研究领域，目前对内存数据库尚无一定义。内存数据库的本质特征是其主拷贝或“工作版本”常驻内存。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存

2、在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多。内存数据库与磁盘数据库之间主要区别在于:内存数据库主数据库常驻内存，体系结构设计的优化目标是提高内存和CPU使用效率由于事务处理无需进行磁盘访问，使用内存数据库的应用系统性能得到极大提高。随着电子技术的快速发展，计算机内存已越来越便宜，这使得计算机上配置的内存容量变得越来越大。现在一些商用的系统已配置几GB甚至更多的主存，另外，随

3、着计算机及操作系统从32位向64位的发展，使理论上计算机可配置内存总数达B。从前，利用虚拟内存或内存交换技术来使大于地址空间或大于物理内存的程序可以运行，这些技术在当时乃至现在都具有重要的意义，然而，现在的问题是如何充分利用大内存，使程序运行更快。实用文档随着计算机应用领域不断扩大和应用程度不断加深，人们对数据库技术提出了新的更高的要求。主存数据库技术，是随着存储技术的发展和现代应用的高性能需求产生和发展起来的数据库技术分支。主存数据库管理系统把数据全部或部分驻留在主存中，消除了传统的磁盘数据库系统中事务运行的I/O瓶颈，获得直接访问数据的极高存取速度，大大地提高了系统的性

4、能，为需要快速响应和高吞吐量的应用提供了强有力的支持。从上个世纪60年代末到80年代初。在这个时期中，出现了主存数据库的雏形。1969年IBM公司研制了世界上最早的数据库管理系统------基于层次模型的数据库管理系统IMS，并作为商品化软件投入市场。在设计IMS时，IBM考虑到基于内存的数据管理方法，相应推出了IMS/VSFastPath。FastPath是一个支持内存驻留数据的商业化数据库，但它同时也可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理内存中访问和管理。在这个阶段中，包括网状数据

5、库、关系数据库等其他各种数据库技术也都逐渐成型。1984年，DJDeWitt等人发表了《主存数据库系统的实现技术》一文。第一次提出了MainMemoryDatabase（主存数据库）的概念。预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库全部保存在主存中，提出了AVL树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，为主存数据库的发展指出了明确的方向。1987年，ACMSIGMOD会议中提出了以堆文件（HEAPFILE）作为主存数据库的数据存储结构。SouthernMethodist大学设计出MARS主存数据库模型。随着互联网的发展，越来越多

6、的网络应用系统需要能够支持大用户量并发访问、高响应速度的的数据库系统，主存数据库市场成熟半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的技术可行性逐步成熟1994年美国OSE公司推出了第一个商业化的，开始实际应用的主存数据库产品Polyhedra2001年美国McObject推出eXtremeDB。加拿大Empress公司推出EmpressDB。实用文档1.内存数据库的特点内存系统和磁盘系统具有不同的特性，这是引起MMDBS(mainmemorydatabas

7、esystem)和DRDBS(diskresidentdatabasesystem)之间的差别的根本所在，主要表现在下列方面：（1）内存和磁盘在存取时间上有若干数量级的差别，内存数据库“工作版本”常驻内存，数据直接被访问，因而其系统“瓶颈”主要是内存空间和处理机的有效利用。据报道，ORACLE发布内存型数据库TimesTen速度比传统产品快10倍。（2）内存是易失性的，而磁盘是永久性的存储器，即当系统断电时，前者所存信息立即消失，通电也不会恢复；而后者反之，断电时信息不会消失，再通电时即原样可使用。（3）存储格式不