大规模关系图数据存储框架研究.pdf

《大规模关系图数据存储框架研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《自动化与仪器仪表》2017年第7期(总第212期)大规模关系图数据存储框架研究张心越(兰州职业技术学院甘肃兰州，730070)摘要:随着大数据时代的到来,关系图的规模日益扩大,其数据更新更是频繁,高效的存储系统成为图数据处理的必需。设计了面向大规模关系图的存储系统,在充分考虑了关系图和物理存储介质的特点之后,设计支持复杂访问操作的关系图存储方式,均衡的图分割模式以及用于支持高效访问的图索引,同时支持对单向关系的反向查询,实验结果表明,该存储框架能够满足对关系图处理的读写性能需求。关键词:大数据;关系图存储框架;关系图分割;关系图索引中图分类号:TP311

2、文献标识码:ADOI编码:10．1４016/j．cnki．1001-9227．2017．07．025Abstract:Withthearrivalofbigdataera，existingrelationgraphssharethecharacteristicssuchashugedatavolume，frequentlyupdating，efficientgraphdatastoragesystembecomesnecessaryfordataprocessing．Onthebasisofthegraphdatamodelandphysicalstora

3、gemedia，wedesignthestoragemode，graphcutmethodandindexingmethodofthestoragesystem．Experimentsonlargegraphdatasetsshowthatourstoragesystemcanmeetthedemandofthegraphstorageandprocessing．Keywords:BigData;RelationGraphStorageFramework;RelationGraphCut;RelationIndex合，L是图中关系的集合，T是图中允许的所有

4、节点类型的集0引言合，μ是图中时间信息的基本单位。对于节点的定义:近年来，随着互联网应用的飞速发展以及以Web2．0技node=(2)[1]术为基础的社交网络的普及，互联网上的网页数量呈指数其中nid是节点标识，ntype表示节点类型，name表示节倍增加。根据CNNIC最新的统计报告，2015年中国网页规模点名称，节点上的多值属性对(Property)的集合{property}以达到空前的1100亿个，网页数据的年增加速度在80%以上，及节点到源数据的引用集合{ref}。而全球的社交网络如

5、facebook，twitter，以及国内的QQ空间，2图数据的存储微信朋友圈，新浪微博等，发展速度也非常快，据腾讯公司2015年数据，QQ同时在线人数突破8000万，而微信同时在图数据的存储就是将图数据与物理存储之间进行映射，线已远远破亿，社交网络的迅猛发展，导致真实世界的实体数该存储模型必须支持复杂查询需求，同时满足图分割的均衡[2]据也随着虚拟社会数据的增加而迅速增加，网页中相应的负载，同时满足图数据索引的快速访问。图数据随之增加，面对如此大规模的图数据，对处理这些数据2．1图数据存储方式[3][6][7][8]的应用程序提出了新的挑战。一般情况来说

6、，邻接矩阵、邻接表、十字链表和邻[４][9]分布式集群系统是解决海量数据处理的一个重要方接多重表等多种数据结构都可以作为图数据存储的数据结法，也是大规模图数据处理的一个重要方法，然而当前大部分构。由于邻接表具有开销小，便于分割等优点，成为图数据存图数据算法需要多次迭代才能收敛，这也导致了其性能计算储的理想数据结构。图1是一个图的邻接表表示。表达能力也存在不足，且图数据处理过程中产生大量的中间结果，同时需要在分布式系统中的不同节点之间传递消息和数据，图数据处理过程是一个典型的IO密集型计算，因此高效的存储系统已经成为大规模图数据处理系统的重要组成部分。为了解

7、决上述问题，本文设计并提出了面向大规模图数据的存储系统，通过图数据模型，存储方式，图分割以及图数据索引的设计，实现图数据的高效存储。图1图的邻接表表示对于图数据的存储，本文采用了key-value模型用作存储1图数据模型模型的邻接表，key-value模型的邻接表以图的源顶点为key，图数据模型作为上层应用与图数据存储系统之间的逻辑其顶点值，以及出边，边信息作为value。在本文中，图数据关数据视图[5]，是图数据存储方案设计的依据和目标，因此图数系被组织成一个Key-value结构的邻接表，但是如果单纯地据模型不仅需要支持完整的通用查询接口，同时能够针对

8、具用这种邻接表来存储图数据，就对一些复杂的条件查询支持体的应用需求