面向新型存储的大数据存储架构与核心算法综述

《面向新型存储的大数据存储架构与核心算法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ＣＮ４３－１２５８／ＴＰ计算机工程与科学第３５卷第１０期２０１３年１０月ＩＳＳＮ１００７－１３０ＸＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ＆ＳｃｉｅｎｃｅＶｏｌ．３５，Ｎｏ．１０，Ｏｃｔ．２０１３文章编号：１００７－１３０Ｘ（２０１３）１０－００１２－１３＊面向新型存储的大数据存储架构与核心算法综述金培权，郝行军，岳丽华（中国科学技术大学计算机科学与技术学院，安徽合肥２３００２７）摘要：大数据已成为目前学术界和工业界共同关注的热点问题，同时，闪存、相变存储器等新型存储技术也正在极大地影响着计算机系统的软硬件设计与应用。大数据管理面临着诸多的挑战，例如能耗、性能等，而新型

2、存储介质则在Ｉ／Ｏ延迟、能耗等方面优于传统磁盘存储介质。面向新型存储技术的大数据管理旨在通过利用新型存储技术来解决大数据管理中的关键问题，但目前尚有许多问题还有待于进一步探讨。试图对面向新型存储技术的大数据管理的研究现状做一个梳理，理清几个问题，例如新型存储技术的快速发展对于大数据管理而言带来了哪些新的机遇和问题？引入新型存储后是否能够部分解决大数据管理中的挑战性问题？论文首先讨论了目前新型存储器的器件特点，总结了面向新型存储技术的大数据存储架构研究现状，对已经提出的主要核心算法进行了概述。最后，给出了基于新型存储技术的大数据管理的若干未来发展方向，以期能够对新型存储

3、技术和大数据管理的未来研究提供新的线索。关键词：新型存储；大数据管理；研究进展；发展趋势中图分类号：ＴＰ３１１文献标志码：Ａｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７－１３０Ｘ．２０１３．１０．００２ＡｓｕｒｖｅｙｏｎｓｔｏｒａｇｅａｒｃｈｉｔｅｃｔｕｒｅｓａｎｄｃｏｒｅａｌｇｏｒｉｔｈｍｓｆｏｒｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｏｎｎｅｗｓｔｏｒａｇｅｓＪＩＮＰｅｉ－ｑｕａｎ，ＨＡＯＸｉｎｇ－ｊｕｎ，ＹＵＥＬｉ－ｈｕａ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣ

4、ｈｉｎａ，Ｈｅｆｅｉ２３００２７，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｂｉｇｄａｔａｈａｓｂｅｅｎａｈｏｔｔｏｐｉｃｂｏｔｈｉｎａｃａｄｅｍｉａａｎｄｉｎｄｕｓｔｒｉｅｓ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｎｅｗｓｔｏｒ－ａｇｅｓ，ｓｕｃｈａｓｆｌａｓｈｍｅｍｏｒｙａｎｄｐｈａｓｅｃｈａｎｇｉｎｇｍｅｍｏｒｙ，ａｒｅｇｒｅａｔｌｙｃｈａｎｇｉｎｇｔｈｅｄｅｓｉｇｎａｎｄａｐｐｌｉｃａ－ｔｉｏｎｓｏｆｂｏｔｈｓｏｆｔｗａｒｅａｎｄｈａｒｄｗａｒｅｉｎｍｏｄｅｒｎｃｏｍｐｕｔｅｒｓｙｓｔｅｍｓ．Ｂａｓｉｃａｌｌｙ，ｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｈａｓｔｏｄｅａｌｗｉｔｈａｌｏｔｏ

5、ｆｃｈａｌｌｅｎｇｅｓ，ｓｕｃｈａｓｅｎｅｒｇｙａｎｄｐｅｒｆｏｒｍａｎｃｅ，ｗｈｅｒｅａｓｎｅｗｓｔｏｒａｇｅｓａｒｅｓｕｐｅｒｉｏｒｔｏｔｒａｄｉｔｉｏｎａｌｍａｇｎｅｔｉｃｄｉｓｋｓｉｎｍａｎｙａｓｐｅｃｔｓｉｎｃｌｕｄｉｎｇＩ／Ｏｌａｔｅｎｃｙａｎｄｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ．Ｔｈｅｒｅｆｏｒｅ，ｒｅ－ｓｅａｒｃｈｅｒｓｃｏｎｄｕｃｔｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｓｔｕｄｙｏｎｎｅｗｓｔｏｒａｇｅｓａｎｄｅｘｐｅｃｔｔｏｓｏｌｖｅｔｈｅｃｒｉｔｉｃａｌｉｓｓｕｅｓｉｎｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔ．Ｈｏｗｅｖｅｒ，ｓｏｆａｒｌｏｔｓｏｆｉｓｓｕ

6、ｅｓａｒｅｓｔｉｌｌｔｏｂｅｆｕｒｔｈｅｒｅｘｐｌｏｒｅｄ．Ｗｅｓｕｍｍａｒｉｚｅｔｈｅｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔｓｔｕｄｉｅｓｉｎｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｏｖｅｒｎｅｗｓｔｏｒａｇｅｓ，ａｎｄｔｒｙｔｏａｎｓｗｅｒｓｏｍｅｋｅｙｑｕｅｓ－ｔｉｏｎｓ，ｅ．ｇ．，“Ｗｈａｔｎｅｗｃｈａｌｌｅｎｇｅｓａｎｄｉｓｓｕｅｓａｒｅｂｒｏｕｇｈｔｂｙｉｎｔｒｏｄｕｃｉｎｇｎｅｗｓｔｏｒａｇｅｓｔｏｂｉｇｄａｔａｍａｎ－ａｇｅｍｅｎｔ？”，“Ｃａｎｗｅｓｏｌｖｅｏｒｐａｒｔｉａｌｌｙｓｏｌｖｅｔｈｅｋｅｙｉｓｓｕｅｓｉｎｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｂｙｕｓｉｎ

7、ｇｎｅｗｓｔｏｒａ－ｇｅｓ？”．Ｐａｒｔｉｃｕｌａｒｌｙ，ｗｅｆｉｒｓｔｄｉｓｃｕｓｓｔｈｅｓｐｅｃｉａｌｆｅａｔｕｒｅｓｏｆｎｅｗｓｔｏｒａｇｅｓ，ａｎｄｔｈｅｎｐｒｅｓｅｎｔｔｈｅｒｅｃｅｎｔｒｅ－ｓｅａｒｃｈａｄｖａｎｃｅｓｉｎｓｔｏｒａｇｅａｒｃｈｉｔｅｃｔｕｒｅｓａｎｄｃｏｒｅａｌｇｏｒｉｔｈｍｓｆｏｒｂｉｇｄａｔａｍａｎａｇｅｍｅｎｔｏｖｅｒｎｅｗｓｔｏｒａｇｅｓ．Ｆｉｎａｌｌｙ，ｓｏｍｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｉｎｔｈｉｓａｒｅａａｒｅｐｒｏｐｏｓｅｄ，ｗｈｉｃｈａｒｅｅｘｐｅｃｔｅｄｔｏｐｒｏｖｉｄｅｕｓｅｆｕ