海量数据存储论文

《海量数据存储论文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、海量数据存储（--计算机学科前沿讲座论文）昆明理工大学信息院计算机应用技术2010/11随着信息社会的发展，越來越多的信息被数据化，尤其是伴随着Internet的发展，数据呈爆炸式增长。从存储服务的发展趋势来看，一方血，是对数据的存储量的需求越来越大，另一方血，是对数据的有效管理提出了更高的要求。首先是存储容量的急剧膨胀，从而对于存储服务器提出了更大的需求；英次是数据持续时间的增加。最后，对数据存储的管理提出了更高的要求。数据的多样化、地理上的分散性、对重要数据的保护等等都对数据筲理提出了更高的要求。随着数字图书馆、电子商务、多

2、媒体传输等用的不断发展，数据从GB、TB到PB量级海量急速增长。存储产殆已不再是附属于服务器的辅助设备，而成为互联网中最主要的花费所在。海量存储技术己成为继计算机浪潮和互联网浪潮之厉的笫三次浪潮，磁盘阵列与网络存储成为先锋。一、海量数据存储简介海量存储的含义在于，其在数据存储中的容量增长是没有止境的。因此，用户需耍不断地扩张存储空间。但是，存储容量的增长往往同存储性能并不成正比。这也就造成了数据存储上的谋区和障碍。海量存储技术的概念已经不仅仅是单台的存储设备。而多个存储设备的连接使得数据管理成为一大难题。因此，统一平台的数据管理

3、产品近年来受到了广人用八的欢迎。这一类型产品能够整合不同平台的存储设备在一个也一的控制界而上，结合虚拟化软件对存储资源进行管理。这样的产品尤疑简化了用户的管理。数据容量的增长是无限的，如果只是一味的添加存储设备，那么无疑会大幅增加存储成本。因此,海量存储对于数据的秸简也提出了要求。同时，不同应川对于存储容量的需求也有所不同，而应川所要求的存储空间往往并不能得到充分利用，这也造成了浪费。针对以上的问题，重复数据删除和自动粘简配置两项技术在近年来受到了广泛的关注和追捧。重复数据删除通过文件块级的比对，将匝复的数据块删除而只留下单一实

4、例。这一做法使得冗余的存储空间得到释放，从&观上增加了存储容量。二、企业在处理海量数据存储中存在的问题目前金业存储而临儿个问题，一是存储数据的成木在不断地增加，如何削减开支节约成木以保证高可用性；二是数据存储容量爆炸性增长且难以预估；三是越來越复杂的环境使得存储的数据尢法管理。企业信息架构如何适应现状去提供一个较为理想的解决方案，目前业界有几个发展方向。1.存储虚拟化对于存储面临的难题，业界采用的解决手段之一就是存储熄拟化。焜拟存储的概念实际上在早期的计算机虚拟存储器中就已经很好地得以体现，常说的网络存储虚拟化只不过是在更人规模

5、范围内体现存储虚拟化的思想。该技术通过聚合多个存储设备的空间，灵活部署存储空间的分配，从而实现现有存储空间高利用率，避免了不必要的设备开支。存储虚拟化的好处显而易见，口J实现存储系统的整合，提高存储空间的利用率，简化系统的管理,保护原有投资等。越来越多的厂商止积极投身于存储虚拟化领域，比如数据复制、口动精简配置等技术也用到了虚拟化技术。虚拟化并不是一个单独的产品，而是存储系统的一项基本功能。它对于整合异构存储环境、降低系统幣体拥有成本是十分有效的。在存储系统的各个层而和不同应用领域都广泛使川虚拟化这个概念。考虑整个存储层次大体分

6、为应用、文件和块设备三个层次，和应的虚拟化技术也大致口J以按这三个层次分类。目前大部分设备提供商和服务提供商都在自己的产品中包含存储虚拟化技术，使得用户能够方便地使用。1.容量扩展II前而言,在发展趋势上，存储管理的重点已经从对存储资源的管理转变到对数据资源的借理。随着存储系统规模的不断扩人，数据如何衣存储系统中述行时空分布成为保证数据的存取性能、安全性和经济性的重要问题。而对信息海量增长对存储扩容的需求，目前主流厂商均提出了各自的解决方案。由于存储现状比较复杂，存储技术的发展业界还没有形成统一的认识，因此在应对存储容量增长的问

7、题上，尚存在很大的提升空间。技术是发展的，数据的出界也是在不断变化的过程中走向完美。企业信息架构的“分”与“合”的情况并不绝对。「I前、出现了许多的融合技术，如NAS与SAN的融合,统一存储网等等。这些都将对企业信息架构产牛不同的影响。至丁•到底采用哪种技术更合适，取决丁•企业自身对数据的需求。三、海量数据存储技术为了支持大规模数据的存储、传输与处理，针对海量数据存储目前主耍开展如下三个方向的研究:1.虚拟存储技术存储虚拟化的核心工作是物理存储设备到单一逻辑资源池的映射，通过虚拟化技术，为用户和应用程序提供了虚拟磁盘或虚拟卷，并

8、H用户可以根据需求对它进行任意分割、合并、重新组合等操作,并分配给特定的主机或应用程序，为用八隐藏或屏蔽了具体的物理设备的各种物理特性。存储虚拟化可以提高存储利用率，降低成本，简化存储管理，而基于网络的虚拟存储技术已成为一种趋势，它的开放性、扩展性、管理性等方面