海量结构化数据存储检索系统

《海量结构化数据存储检索系统》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、计算机研究与发展ＩＳＳＮ１０００－１２３９?ＣＮ１１－１７７７?ＴＰＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ４９（Ｓｕｐｐｌ．）：１－５，２０１２海量结构化数据存储检索系统吴广君１王树鹏１陈明２李超３１（中国科学院计算技术研究所北京１００１９０）２（北京邮电大学北京１００８７６）３（国家计算机网络应急技术处理协调中心北京１０００２９）（ｗｕｇｕａｎｇｊｕｎ＠ｓｏｆｔｗａｒｅ．ｉｃｔ．ａｃ．ｃｎ）ＭａｓｓｉｖｅＳｔｒｕｃｔｕｒｅｄＤａｔａＯｒｉｅｎｔｅｄＳｔｏｒａｇｅａｎｄＲｅｔｒｉｅｖｅＳｙｓｔｅｍ１，ＷａｎｇＳｈｕｐｅｎｇ１，ＣｈｅｎＭｉ

2、ｎｇ２，ａｎｄＬｉＣｈａｏ３ＷｕＧｕａｎｇｊｕｎ１（ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０）２（ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６）３（ＮａｔｉｏｎａｌＣｏｍｐｕｔｅｒＮｅｔｗｏｒｋＥｍｅｒｇｅｎｃｙＲｅｓｐｏｎｓｅＴｅｃｈｎｉｃａｌＴｅａｍ?ＣｏｏｒｄｉｎａｔｉｏｎＣｅｎｔｅｒｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１０００２９）ＡｂｓｔｒａｃｔＢｉｇＤａｔａｈａｓｅｍｅｒｇｅｄａｓａｎｅｗｔｙｐｅｏｆｄａ

3、ｔａｉｎｔｈｅｃｌｏｕｄｃｏｍｐｕｔｉｎｇ．ＴｈｅｔｒａｄｉｔｉｏｎａｌＲＤＢＭＳｉｓｎｏｌｏｎｇｅｒｆｉｔｔｏｍａｎａｇｅＢｉｇＤａｔａｉｎｆａｃｅｏｆｔｈｅｌａｒｇｅｓｔｏｒａｇｅｓｉｚｅａｎｄｈｉｇｈｑｕｅｒｙｅｆｆｉｃｉｅｎｃｙ．Ｃｕｒｒｅｎｔｌｙ，ｔｈｅＮｏ－ＳＱＬ（ｎｏｔｏｎｌｙＳＱＬ）ＤＢｃａｎｐｒｏｖｉｄｅｄｉｓｔｒｉｂｕｔｅｄｓｔｏｒａｇｅｅｎｖｉｒｏｎｍｅｎｔ，ｂｕｔｉｔｃａｎｎｏｔｓｕｐｐｏｒｔｍｕｌｔｉ－ｃｏｌｕｍｎｓｑｕｅｒｉｅｓ．ＷｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔｄｉｓｔｒｉｂｕｔｅｄＭａｓｓｉｖｅＤａｔａＳｔｏｒａｇｅＳｙｓｔｅｍ（ＭＤＳＳ）

4、ｆｏｒｓｔｒｕｃｔｕｒｅｄｄａｔａｓｔｏｒａｇｅ．ＭＤＳＳｕｓｅｇｌｏｂａｌｄｉｓｔｒｉｂｕｔｅｄＢ＋ｔｒｅｅａｎｄｌｏｃａｌｉｎｄｅｘｉｎｇｓｔｒｕｃｔｕｒｅｔｏｍａｎａｇｅｄａｔａｓｏｕｒｃｅｗｉｔｈｃｏｌｕｍｎ－ｂａｓｅｄｓｔｏｒａｇｅｓｔｒｕｃｔｕｒｅ．Ｔｈｅｑｕｅｒｙｐｌａｎｎｉｎｇｍｅｃｈａｎｉｓｍｗａｓｂｕｉｌｔｆｏｒｍｕｌｔｉ－ａｔｔｒｉｂｕｔｅｓｑｕｅｒｙ，ｆｕｚｚｙｑｕｅｒｙａｎｄｄａｔａｓｔａｔｉｓｔｉｃｓｑｕｅｒｙｂａｓｅｄｏｎＭＤＳＳ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｅｘｐｏｓｅｄｔｈａｔｔｈｅｔｅｃｈｎｉｑｕｅｓｆｏｒｄｉｓｔｒｉｂｕｔｅｄｓ

5、ｔｒｕｃｔｕｒｅｄｄａｔａａｎｄｑｕｅｒｙｐｌａｎｎｉｎｇｍｅｔｈｏｄｓｃａｎｉｍｐｒｏｖｅＢｉｇＤａｔａｑｕｅｒｙｅｆｆｉｃｉｅｎｃｙｓｉｇｎｉｆｉｃａｎｔｌｙ．ＭＤＳＳｉｓｓｕｉｔａｂｌｅｔｏｍａｎａｇｅｍａｓｓｉｖｅｓｔｒｕｃｔｕｒｅｄｄａｔａ，ｓｕｃｈａｓｌｏｇ－ｓｔｒｕｃｔｕｒｅｄｄａｔａ，ｓｔｒｅａｍｉｎｇｄａｔａｅｔｃ．Ｋｅｙｗｏｒｄｓｂｉｇｄａｔａ；Ｈａｄｏｏｐ；ｄａｔａｑｕｅｒｙ；Ｎｏ－ＳＱＬＤＢ；ｍａｓｓｉｖｅｓｔｏｒａｇｅ摘要ＢｉｇＤａｔａ是近年在云计算领域中出现的一种新型数据，传统关系型数据库系统在数据存储规模、检索效率等方面不再适用．目前的分布式Ｎｏ－

6、ＳＱＬ数据库可以提供分布式数据存储环境，但是无法支持多列查询．设计并实现分布式海量结构化数据存储检索系统（ＭＤＳＳ）．系统采用列存储结构，采用集中分布式Ｂ＋Ｔｒｅｅ索引和局部索引相结合的方法提高检索效率．在此基础上讨论复杂查询条件的任务分解机制，支持大数据的多属性检索、模糊检索以及统计分析等查询功能．实验结果表明，提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率，适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合．关键词大数据；Ｈａｄｏｏｐ；数据检索；Ｎｏ－ＳＱＬ数据库；海量数据存储中图法分类号ＴＰ３９３收稿日期：２０１２－

7、０１－０４基金项目：国家自然科学基金项目（６１００３２６０）；国家“八六三”高技术研究发展计划基金项目（２００９ＡＡ０１Ａ４０３，２００７ＡＡ０１０５０１，２００７ＡＡ０１Ｚ４６７，２００７ＡＡ０１Ｚ４７４）２计算机研究与发展２０１２，４９（增刊）ＢｉｇＤａｔａ是近年在云计算领域提出的对数据的个部分：加载机集群、查询机集群、元数据节点集群加载效率、存储规模以及数据的检索效率有很高要以及存储节点集群．求的应用场合，通常数据的加载效率在ＭＢｐｓ甚至ＧＢｐｓ量级，数据的存储规模在ＴＢ甚至ＰＢ规模．