大规模图数据处理与分析关键技术研究

《大规模图数据处理与分析关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10699分类号TP311密级学号2010100536题目大规模图数据处理与分析关键技术研究作者索勃计算机科学与技术学科、专业李战怀教授指导教师申请学位日期2017年9月西北工业大学博士学位论文嘨学位研究生嘩题目:大规模图数据处理与分析关键技术研究作者嘺索勃学科专业嘺计算机科学技术指导教师嘺李战怀嘲嘰嘱嘷年嘹月Title:KeyTechnologyResearchonProcessingandAnalyzingBigGraphsByBoSuoUndertheSupervisionofProfessorZhanhuaiLi噁噄噩

2、噳噳噥噲噴噡噴噩噯噮噓噵噢噭噩噴噴噥噤噴噯噎噯噲噴器噷噥噳噴噥噲噮噐噯噬噹噴噥噣器噮噩噣噡噬噕噮噩噶噥噲噳噩噴噹噉噮噰噡噲噴噩噡噬噦噵噬嘌噬噬噭噥噮噴噯噦噴器噥噲噥噱噵噩噲噥噭噥噮噴噆噯噲噴器噥噤噥噧噲噥噥噯噦噄噯噣噴噯噲噯噦噃噯噭噰噵噴噥噲噓噣噩噥噮噣噥噡噮噤噔噥噣器噮噯噬噯噧噹噘噩嘧噡噮噐嘮噒嘮噃器噩噮噡噓噥噰噴噥噭噢噥噲嘲嘰嘱嘷摘要摘摘摘要要要图数据作为一种重要的数据类型，常用于现实世界中实体间关系建模，在计算生物学、互联网、社交网络等领域都得到了广泛的应用。随着大数据时代的到来，图数据在相关技术的刺激下，规模呈爆炸式增长。因此

3、，针对大规模图数据进行高效处理，支持常用操作，展开有效分析成为亟待解决的问题。近些年，随着噍噡噰噒噥噤噵噣噥、噂噓噐等同步编程模型和相应开源计算框架的不断涌现，分布式并行图数据处理计算框架凭借其在可扩展性、容错性和易用性等方面的优势，已逐渐成为解决大数据相关问题的首选。基于这些框架与平台的开源实现，结合图数据及其应用的特点，现有研究提出了很多大规模图数据处理与分析的方法，但仍存在如下问题与挑战：（嘱）在图数据处理与分析计算框架方面，基于同步编程模型设计的计算框架随迭代增加，通讯和同步代价成为瓶颈，如何设计实现突破该瓶颈的通用计算框架；

4、（嘲）在图数据处理解决方案方面，如何通过并行解决方案设计实现迭代优化，提升响应速度；（嘳）在图数据处理与分析编程模型方面，面对种类繁多的同步和异步计算框架，以及众多与计算框架紧耦合的并行图算法，如何设计统一编程模型保证算法在不同框架中的兼容性。本文针对分布式计算环境下，并行图数据处理与分析在迭代计算中存在的问题，从计算框架层面提出了基于混合式处理的迭代优化计算框架；从并行解决方案层面，提出了基于迭代优化的并行图模式匹配解决方案；从编程模型层面提出了基于统一编程模型的建模方法，并在社区发现场景借助所提出的编程模型设计和实现了并行化解决方

5、案。本文的研究工作得到了国家自然科学基金重点项目、西北工业大学研究生创业种子基金的支持。本文的研究内容以及创新点主要体现在如下方面：（嘱）从图数据处理与分析计算框架的角度，针对同步编程模型在不同场景图数据处理分析中的迭代计算瓶颈，对标准噂噓噐的性能局限展开实践分析。为了减少图数据处理所需全局迭代次数，提出了一种基于混合式处理的优化技术。该优化技术在计算中引入了图分区内部本地伪超步迭代的概念，通过对分区内部和分区间计算区别处理，减少通讯和同步操作，加速收敛。并沿用以节点为中心的编程方式，在噂噓噐编程模型的开源实现上设计和实现了噇噲噡噰器

6、噈噐计算框架，保持了噂噓噐编程模型的易用性。实验表明了优化后的计算框架在经典应用场景中对于迭代次数、通讯量、处理速度的提升，以及优于现有异步平台的性能表现。噉西北工业大学博士学位论文（嘲）从图数据处理与分析并行解决方案的角度，针对图数据处理与分析算法的迭代开销，提出了基于迭代优化的并行图模式匹配解决方案。通过将同步编程模型下并行图模式匹配的计算过程抽象为以连接操作为基础的迭代过程，把每轮迭代划分为计算和通讯两个阶段，并围绕迭代过程深入展开了代价分析，提出了并行图模式匹配代价的优化方法。该优化方法从查询图分解和连接操作两方面均对迭代次数

7、和通讯开销分别进行考量。在查询图分解优化中，通过控制查询图分解个数降低所需迭代次数，并利用查询图不同标签候选节点差异性优化中间结果规模；在连接操作中，通过噢噵噳器噹嘭噴噲噥噥的方式构建连接计划，并分别对连接树高度、本地连接、连接代价估计进行了优化。所提出的解决方案能够兼容现有的单机图模式匹配相关研究。基于噍噡噰噒噥噤噵噣噥的实现验证了所提出并行图模式匹配解决方案所带来的性能收益，以及在处理和响应速度方面优于现有非迭代优化解决方案的性能表现。（嘳）从图数据处理与分析编程模型的角度，针对计算框架与并行解决方案的迭代优化兼容性问题，深入分析

8、了同步、异步编程模型各种计算框架迭代优化的差异性，以及并行图算法迭代优化与计算框架的紧耦合特征，为以节点为中心的并行图数据计算框架提出了一种基于统一编程模型—噄噆噁嘭噇的建模方法。该统一的编程模型通过将图数据处理与分析算