数据存储技术综述.pdf

《数据存储技术综述.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第27卷第1期北方工业大学学报Vo1．27NO．12015年3月J．N()RTHCHINAUNIV．OFTECHMar．2015数据存储技术综述吴明礼张宏安(北方工业大学信息工程学院，100144，北京)’摘要针对海量数据存储技术的产生过程进行了具体的描述．介绍目前3种典型的数据存储模式：传统存储、传统分布式存储及云存储．讨论每种存储模式的优缺点及其适应范围．主要介绍云存储模式和Hadoop技术，并将Hadoop技术与其他技术进行比较，分析它的性能、效率以及其他方面的优点和的不足，从而使Hadoop

2、可以更好地服务于具体问题．关键词海量数据；存储技术；分布式存储；云存储分类号TP392随着互联网、信息化的发展，各种数据信息清华大学、人民大学等机构的学者也对Hadoop急剧增长，其增长速度打破了摩尔定律．尤其是展开了深入的研究，内容涉及到Hadoop的数来自搜索、社交网络等领域的数据，在以一种前据存储、资源管理、作业调度、性能优化、系统可所未有的速度占据着我ffJ的存储设备．在这样用性和安全性等多个方面．在行业领域，以淘情况下，对于数据的存储n就不能按照以往的宝、百度、电信和移动为代表的互联网公司

3、，将那种常规模式进行r，需要按照一种适合于当改进的Hadoop集群框架用于实际的项目之前数据特点的方式进行存储和管理．中，例如：淘宝的TFS(TaoFileSystem)，百度目前数据的特点是：多样性、大容量、高速的Hadoop集群等实现了数据的快速存取．他度增长、价值稀缺．对于数据存储，现有的解决们的工作涉及从设计到部署的各个环节，有力办法可以从硬件和软件2个方面着手．硬件方地推动了数据存储技术研究在国内的发展．面：增加硬件存储设备，能够单位时间内较快捷目前，国际上数据存储的研究重点主要集地解决存

4、储问题，但代价昂贵，扩展性不强．对中在分布式框架的优化和改进上．云存储技术于急剧增长的数据，硬件设备的增加速度不一的研究得到了各大高校的广泛支持，斯坦福大定能够赶数据增长的速度．所以，一味地增加学、加州大学伯克利分校、康奈尔大学、卡耐基一硬件设备不是一种很好的解决方案．软件方面：梅隆大学等都加入到云存储的研究中来，为数采用虚拟化，分布式以及网络的相关技术，将海据存储技术的发展提供了科学理论基础．在行量数据分散地存储在不同的物理机器上，通过业领域，Google自主开发的GFS就是典型云优化网络以及分布

5、式系统的性能来提高数据的存储的系统．Amazon的云存储平台，IBMTo读写访问效率．talStorageSAN(StorageAreaNetwork)文件中科院计算所和华中科技大学的研究人员系统，以及Hadoop的HDFS(HadoopDistrib在数据存储领域进行丁许多有价值的探索，并且utedFileSystem)都取得了广泛支持．工业界开发的蓝鲸分布式文件系统等产品也已投入到的研究将进一步推进这一技术的发展，从而创实际项目中，获得了较高的评价．中科院计算所、造出更加优秀的存储平台．收稿日期

6、：2()131101第一一作者简介：吴明礼，讲师．研究方向：商业智能、数据仓库、文本挖掘第1期吴明礼张宏安：数据存储技术综述31服务器和存储器设备组成的高速专用存储网1传统存储模式络．FC—SAN有如下优势：首先，为用户提供服务不受宽带限制；其次理论上扩展不受限制，并在底层架构方面，传统的数据存储模式可且支持在线扩展，扩展的同时可靠性和安全性以分为4种：1)直连式存储(Direct—Attached有很大的提升，可以实现远距离的备份和容灾；Storage，DAs)L4；2)网络连接存储(Networ

7、k—最后其便于管理、维护，支持虚拟化．纵然FC—AttachedStorage，NAS)]；3)存储区域网络SAN拥有以上这些优点，但是其互操作性差，(StorageAreaNetwork，SAN)[8-9]；4)对象存价格昂贵，特别是在对于数据的完整性和安全储技术(Object—BasedStorage，OBS)l_1“]．性方面有着先天的不足，因此它的应用范围受1．1直连式存储到了一定的影响．IP—SAN是一种基于iSCSI协直接式存储(DAS)，存储设备通常是通过议的一种SAN存储方式．融合了

8、网络和存储SCSI(小型计算机系统接口SmallComputer的技术特点，使得IP—sAN在可扩展性、灵活配SystemInterface)接口的电缆或者是光纤直接置、易于使用和物理延伸距离远等方面的优势连到服务器上．I／O(输入／输出)请求直接发送更加明显．IP—SAN与FC—SAN可以形成应用到存储设备．这种存储方式具有较好的可靠性，补充，然后发挥远程存储的特长，占居FC—SAN仅仅依赖服务器；安装简单以及价格便宜等特无法涉足的领域，如数据灾难备份应用、远程数点