基于超大规模异构体系结构的图计算系统研究

《基于超大规模异构体系结构的图计算系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于超大规模异构体系结构的图计算系统研究（申请清华大学工学博士学位论文）培养单位：计算机科学与技术系学科：计算机科学与技术研究生：林恒指导教师：郑纬民教授一二■〇七年十二月Ｇ－ｒａｈａｎａｌｓｉｓｏｎｅｘｔｒｅｍｅｓｃａｌｅｐｙｈｅｔｅｒｏｇｅｎｅｏｕｓａｒｃｈｉｔｅｃｔｕｒｅＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＴｓｉｎｈｕａＵｎｉｖｅｒｓｉｔｇｙｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｐ

2、ｑｆｏｒｔｈｅｄｅｒｅｅｏｆｇＤｏｃｔｏｒｏｆＥｎｉｎｅｅｒｉｎｇｇｂｙＨｅｎＬｉｎｇ（ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ）ＤｉｓｓｅｒｔａｔｉｏｎＳｕｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＺｈｅｎＷｅｉｍｉｎｐｇＤｅｃｅｍｂｅｒ２０１７，摘要摘要图数据有着强大的表达能力，适用的领域包括社交网络、生物信息、网页搜索和运输系统等。图计算系统是处理图数据的强有力工具，目前公开的图计算系统已经能在数百台机器上处理上

3、万亿条边的图数据。然而现实生活中的图数据规模２０１７。高速增长，比如中文网页图的链接数在年初达到了十万亿规模庞大的图数据规模，结合其数据依赖、幂律分布的特点，给图计算系统的硬件和软件均提出了更加严峻的挑战。本文主要的研究对象为超大规模图计算系统，采用的硬件平台为目前（２０１７？一—？１０月）世界上Ｔ〇５００排名第的超级计算机神威太湖之光年Ｐ。在本平台一个典型的图计算应用入手上，本文先从，研究了宽度优先搜索算法，接着扩展为更一一般的图计算框架，进步研究超大规模图计算问题。？

4、Ｗ２１．超大规模宽度优先搜索算法太湖之光的处理器Ｓ６０１０的异。针对神威构体系结构，提出了从核无锁数据分发技术，避免了原子操作给加速核带来的开销，充分利用了内存带宽。同时提出了流水化的功能映射技术，让加速核处理核心执行任务，发挥其高访存带宽的特点，而将繁琐的任务调度和通信任务交给通用核。针对超大规模网络环境下的不定长小消息问题，提出了基于分组的消息聚类技术，分两个阶段聚合发送消息，在４万节点时将消息数量降低了两个数量级。２—．神图超大规模图计算框架。相对于宽度优先遍历算法，其

5、他图算法通常会有更多的通信消息和数据操作的原子性要求。神图提出了分化的消息传输技术，通过将图数据的边按照顶点出入度的不同分为互不相交的三类，分别。采用最优的方法来处理，以减少通信的消息量和提高负载均衡针对数据更新操作的原子性，神图采用基于推送的顶点状态更新技术，分为两个阶段来解决数据过于离散访问的特性。通过以上两方面的研究，本文宽度优先搜索算法的实现在标准评测程序３ｈ［］２Ｇｒａｐ５００的规范下，达到了３７５５．７ＧＴＥＰＳ，成果在２０１６年１１月的排行榜一二。上排名

6、设备第、全榜第神图同时在真实数据和生成数据上进行了结果验证和性能分析１２ＰａｅＲａｎｋ２１，在万亿边的搜狗中文网页链接图上每轮ｇ的时间仅为秒。关键词：异构体系结构；超级计算机；图计算；高性能ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＧｒａｐｈｉｓａｐｏｗｅｒｆｕｌｄａｔａｓｔｒｕｃｔｕｒｅｔｏｐｒｅｓｅｎｔｄａｔａｉｎｍａｎｙａｒｅａｓ，ｓｕｃｈａｓｓｏｃｉａｌｎｅｔｗｏｒｋｂｉｏｌｏｉｎｆｏｒｍａｔｉｏｎｗｅｂａｅｒａｎｋｉｎａｎｄｔｒａｎｓｏｒ

7、ｔｓｓｔｅｍ．Ｇｒａｈｒｏｃｅｓｓｉｎ，ｇｙ，ｐｇｇｐｙｐｐｇｓｓｔｅｍｉｓｄｅｓｉｇｎｅｄｔｏｒｏｃｅｓｓｒａｈｄａｔａｅｆｆｉｃｉｅｎｔｌ．Ｈｏｗｅｖｅｒｔｈｅｓｉｚｅｏｆｒａｈｓｒｏｗｓｔｏｏｙｐｇｐｙ，ｇｐｇｆａｓｔｔｏｂｅｈａｎｄｌｅｄｂｙｒｅｓｅｎｔｒａｈｒｏｃｅｓｓｉｎｅｎｉｎｅｓ．Ｆｏｒｅｘａｍｌｅ，ｔｈｅｅｄｅｎｕｍｂｅｒｏｆｐｇｐｐｇｇｐｇＣｈｉｎｅｓｅｗｅｂｒａｈｈａｓｅｘｃｅｅｄｅｄｔｅｎ

8、ｔｒｉｌｌｉｏｎａｔｔｈｅｅａｒｌ２０１７．Ｇｒａｈｓｔｈａｔａｒｅｅｘｔｒｅｍｅｌｇｐｙｐｙｌａｒｇｅｏｓｅａｒｅａｔｃｈａｌｌｅｎｅｔｏｒａｈｒｏｃｅｓｓｉｎｅｎｉｎｅｓｉｎｔｅｒｍｓｏｆｂｏｔｈｈａｒｄｗａｒｅａｎｄｐｇｇｇｐｐｇｇ，ｓｏｆｔｗａｒｅ．Ｗｔｔ－ｌｈｉｂｌｅｍｉｎｔｈｉｔｈｅｉｓｅｓｕｄｙｅｘｒｅｍｅｓｃａｅｇｒａｐｐｒｏｃｅｓｓｎｇｐｒｏｓｓｓ．