基于内存数据网格文件存储分析

《基于内存数据网格文件存储分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于内存数据网格文件存储分析　　摘要：内存数据网格存储系统能够大大提高数据的存储速度，现有的内存数据网格原型系统大多支持数据键值对的存储。该文通过利用现有的数据网格原型系统，实现了分布式的内存文件存储工具。并对该工具的存储性能进行分析，并提出几种影响分布式内存数据网格文件存储性能的因素。　　关键词：内存数据网格；文件存储；性能分析　　中图分类号：TP393文献标识码：A文章编号：1009-3044（2015）22-0171-03　　Abstract：In-memory-gridstoragesystemcan

2、increasethespeedofdatastorage.Mostexistingmemorydatagridprototypesystemonlysupportkey-valuepairstorage.Inthispaper，byusingtheexistingdatagridprototypesystem，wedevelopatoolthatcanstoragefileinIn-memory-grid.Andanalyzedtheperformanceofthetool，Andputforwardsev

3、eralkindsofinfluencefactorsofdistributedmemorydatagridfilestorage.　　Keywords：in-memorydatagrid；filestorage；performanceanalysis6　　随着云计算技术的普及，产生的数据量越来越大，数据共享越来越普遍。为了处理海量数据，解决传统数据库面临的大规模数据访问瓶颈问题，分布式缓存技术得以引入。分布式缓存将数据分布到多个缓存服务节点，在内存中管理数据，对外提供统一的访问接口，基于冗余备份机制实现高可

4、用支持，又被称为内存数据网格（IMDG）。IMDG是基于内存的新型分布式数据键值对存储系统，与分布式缓存相比，可以简化应用层数据访问逻辑的开发，减少维护缓存与数据库的管理逻辑，屏蔽应用与数据库的交互细节，并提供持久化机制将内存中的数据自动存储于数据库中[2]。　　目前IMDG主要是对数据键值对存储研究比较多，本文通过分析现存的IMDG原型系统，利用Infinispan内存数据网格原型实现的分布式文件存储。通过在单机环境下和集群环境下的性能测试实验，测试该内存数据网格的文件读写性能，以及验证影响内存数据网格的读

5、写性能的因素[2，6]。　　1内存数据网格的概述　　1.1分布式缓存　　在计算机中，分布式缓存是传统概念上单一缓冲的扩充。一个分布式缓存跨越多个服务器，因此其具有可扩展性和事物处理性。通常主要是用于存储应用程序数据驻留在数据库和web会话数据。因为内存变得非常便宜和网卡已经变得非常快分布式缓存的[1]现在已经使用的越来越广泛。对于分布式缓存主要的特性有高性能、动态可扩展、高可用性、易用性、分布式代码执行[3，4]。现今，很多的系统都使用了数据缓存技术，典型的数据检索系统，将数据检索技术和数据缓存技术结合起来，

6、极大地提高了检索效率。　　1.2内存数据网格文件存储6　　Infinispan是JBossCache缓存框架的后续项目，它是一个开源的数据网格平台，用于访问分布式状态的群集节点。它可以提供无固定类型的存储key-value值，文件的存储，基于网格的数据存储。在存储数据方面我们可以设置数据在集群中保存的副本数量；同时提供负载均衡，以及失效节点的数据自动迁移到其他节点的功能[5]。GridFileSystem（网格文件系统）是一个全新实验性的API，这些API使Infinispan后端的网格数据像文件系统一样展示

7、出来。对于实现的系统，集群中某个节点失效时，该节点存储的数据会自动迁移到其他的节点上，实现数据的可靠性存储。同时如果某个节点上存储的数据过多，也能够进行负载平衡。　　1.3工具的实现　　内存数据网格提供系统两种类型的时间存储。一种是文件流形式的数据存储，主要存储的内容是文件。对于这种形式的数据，内存数据网格（Infinispan）首先要先去内存文件系统中取数据，在集群中选择数据所要存放的节点（数据在集群中存两份），然后通过Jgroup进行数据的传输。另一种是Key-Value类型的数据。对于这种数据的存储内存

8、数据网格（Infinispan）直接接收套接字客户端发送过来的Key-Value的键值对，然后在集群中选择两个节点进行存储（数据存放两份），通过Jgroup进行数据的传送。　　2实验方案介绍6　　测试的系统采用的是Ubuntu14.1，内核版本是3.11.10.11；java的环境是JDK8。虚拟机内存大小是2GB。采用的方法是测试得到的数据取平均值，在试验中每组数据测了50次，然后求其平均值。单机