传统关系数据库与海量数据存储及安全性.docx

《传统关系数据库与海量数据存储及安全性.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、海量数据存储的方法及安全性17吴双可摘要：随着信息技术的飞速发展，我们已进入了大数据时代。传统的关系型数据库在数据存储上已无法满足海量数据存储在在容量、性能、存储效率和安全性等方面的要求。而近年来，海量数据存储技术也迅速发展。本文重点介绍传统关系型数据库在海量数据存储上的局限性，以及主要的海量数据存储方式，并且讨论了海量数据存储安全性的保障。1传统关系型数据库1.1传统关系型数据库概念关系数据库，是创建在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及

2、实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的，并配合“科德十二定律”。现如今虽然对此模型有一些批评意见，但它还是数据存储的传统标准。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。1.2传统关系型数据库特点传统关系型数据库在数据存储上主要面向结构化数据，聚焦于便捷的数据查询分析能力、按照严格规则快速处理事务（transaction）的能力、多用户并发访问

3、能力以及数据安全性的保证。其结构化的数据组织形式，严格的一致性模型，简单便捷的查询语言，强大的数据分析能力以及较高的程序与数据独立性等优点获得广泛应用。2海量数据存储方式2.1主要的存储介质2.1.1磁盘优点：数据读取、写入速度快，操作方便缺点：发热量大、噪声大、硬盘易损应用环境：海量数据的即时存取 2.1.2光盘优点：单位存储容量成本低，携带方便，数据查询时间短 缺点：表面易磨损，寿命短应用环境：海量数据的在线访问和离线存储2.1.3磁带优点：容量大、保存时间长缺点：数据顺序检索，定位时间长应用环境：

4、海量数据的定期备份2.2海量存储的模式2.2.1直连式存储直连式存储(DAS)即磁盘驱动器和服务器直接连接，存储作为外围设备，在这种存储结构中，数据管理是以服务器为中心的，而且所有的应用软件都是和存储子系统配套。DAS适用于一个或有限的几个服务器环境，但存储容量增加时，不但存储供应的效率变得越来越低，而且可升级和扩展性受到很大限制，当服务器出现异常时，更使数据不可获得，同时存储资源和数据也无法进行共享。2.2.2网络存储网络存储分为：网络附加存储(Network AttachedStorage，NAS)

5、、光纤存储区域网FC—SAN、IP存储区域网IP—SAN。NAS将存储设备连接到现有的网络上来提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。NAS通过网络直接连接磁盘阵列，磁盘阵列具备了高容量、高效 能、高可靠等特征。。NAS将存储设备通过标准的网络拓扑结构连接，可以无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用户设计的、专门用于数据存储的简化操作系统，内置与网络连接所需的协议，从而使整个系统的管理和设置较为简单。    光纤存储区域网FC—SA

6、N指的是通过一个单独的高速光纤网络把存储设备和挂在TCP／IP网络上的服务器群相连。当有海量数据的存取需求时，数据可以通过存储区域网在相关服务器和后台存储设备之问高速传输。SAN以光纤通道为基础，不但提供了主机和存储设备之间的高速互联，实现了存储设备的共享，服务器通过存储网络直接同存储设备交换数据，不占用LAN的网络资源。    IP—SAN由于主要部分采用光纤通道，因此设备昂贵的成本一直未能得到解决，为此将iSCSI卡集成到NAS存储设备上，支持数据块形式的I／O访问，最后发展成主机通过带TCP卸载引

7、擎(TCP Offioad Engine，TOE)的iSCSI主机总线适配器(Host Bus Adapter，HBA)卡接入IP网络来访问iSCSI存储设备。IP存储采用基于IP协议的网络传输数据，由于IP环境下数据包可以被捕捉解码，对此iSCSI存储要采用多种安全措施以提高数据访问和数据存储的安全性。2.3海量数据存储系统2.3.1非集中式数据存储管理系统1）亚马逊（Amazon）的Dynamo     Dynamo是亚马逊的key-value模式的存储平台，可用性和扩展性都很好，性能也不错：读写访

8、问中99.9%的响应时间都在300ms内。    在Dynamo中，数据按照键/值对（key-value）进行组织，主要面向原始数据的存储。这种架构下，系统中每个节点都能相互感知，自我管理性能较强，没有单点失效。 2）Google的Bigtable Bigtable是谷歌开发的一套结构化存储系统。数据以多维顺序表的方式进行存储。整个系统采用传统的服务器群形式，由一个主控服务器和多个子表服务器构成，并使用分布式锁服务Chubby进行容错等管理