大数据时代数据存储技术的发展

《大数据时代数据存储技术的发展》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据时代数据存储技术的发展【摘要】数据存储技术经丿力了从手工管理到文件管理、再到数据库管理系统三个阶段，数据库技术中关系数据库占据了主耍地位。互联网络的兴起，促使用户数据暴増，大数据时代己经来临，对存储介质容量和数据检索速度都提出了更高的要求，传统的关系数据库难以胜任这一角色，NOSQL数据库逐渐兴起。本文在介绍大数据概念的基础上，分析关系数据库的优劣势，并介绍NOSQL数据库的理论基础和当前NOSQL数据库产品。【关键词】大数据;关系数据库；NOSQL一、大数据1•大数据产生的背景大数据（BigData）,也称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流

2、软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的资讯，通常被认为是PB或EB或更高数量级的数据。互联网络从上世纪90年代开始，发展迅速，加快了信息传播和共享的速度,尤其是一些社交网站的兴起，数据量更是以前所未有的速度暴增，文字资料、声音、视频、图像等多媒体数据铺天盖地。据资料显示，上世纪90年代，互联网资源不是很丰富的时代，网民月平均流量1MB左右，Z后则快速增长，2000年后，逐渐发展为每月10MB、100MB、1GB,据估计2014年可能会达到10GB。淘宝网每口几千万笔交易，单日数据量达几十TB,数据存储量几十PB,百度公司口前数据

3、总量接近1000PB,存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，儿十PB数据。随着技术发展，大数据广泛存在，如企业数据、统计数据、科学数据、医疗数据、互联网数据、移动数据、物联网数据等等。总之，人数据存在于各行各业,一个大数据的时代已经到来。2•大数据时代的挑战大数据特点是容量在増长、种类在增长、速度也在增长，面临如此庞大的数据量，数据的存储和检索面临着巨大挑战。比如2007年时，Facebook使用数据仓库存储15个TB的数据，但到了2010年，每天压缩过的数据比过去总和还多,那时商业并行数据库很少有超过100个节点以上的，而现在雅虎的Hadoop集群

4、超过4000个节点，Facebook仓库节点超过2700个。大量的数据现在已经开始影响我们整个的工作、生活、甚至经济，如何存储和高效利用这些数据是需要我们解决的。二、关系数据库1•关系数据库概述关系型数据库是支持关系模型的数据库系统，他是口前各类数据库屮最重要，也是使用最广泛的数据库系统。关系型数据库从上世纪70年代诞生到现在经过几十年的发展，已经非常成熟，H前市场上主流的数据库都为关系型数据库,比较知名的有Oracle数据库、DB2、Sybase、SQLServer等等。1•关系数据库优势关系数据库相比其他模型的数据库而言，有着以卜•优点：模型容易理解：关系模型中的二

5、维表结构非常贴近逻辑世界，相对于网状、层次等其他模型来说更容易理解。使用方便:通用的SQL语言使得操作关系型数据库非常方便，只需使用SQL语言在逻辑层而操作数据库，而完全不必理解其底层实现。易于维护：丰富的完整性大大降低了数据冗余和数据不一致的概率。3.关系数据库存在问题传统的关系数据库具有不错的性能，稳定性高，历经多年发展己日臻成熟，而且使用简单，功能强大，也积累了大量的成功案例。上世纪90年代的互联网领域，网站基本都是静态网页，主要以文字为主，访问量也不大，当吋用单个数据库完全可以应对。可近几年，动态网站随处可见，各种论坛、博克、微博异常火爆，在大幅度捉升交流方式的

6、同时，用户数据量迅速增长，处理事务性的数据关系数据库得心应手，可面对互联网的高并发、大数拯量关系数据库显得力不从心，暴露了很多难以克服的问题：数据库高并发读写：高并发的动态网站数据库并发负载非常高，往往要达到每秒上万次其金百万次、千万次的读写请求。关系数据库应付上万次SQL查询没问题，但是应付上百万、千万次SQL数据请求，硕盘10就己经无法承受了。海量数据的高效率访问：一般人型数据库在百万级的数据库表中检索数据可达到秒级，但面对数亿条记录的数据库表，检索速度效率是极其低F,难以忍受的。数据库可扩展性和高可用性：基于web的架构当屮，数据库无法通过添加更多的硬件和服务节点

7、來扩展性能和负载能力，对于很多需要提供24小吋不间断服务的网站來说，数据库系统升级和扩展却只能通过停机来实现，这无疑是一个艰难的决定。三、NOSQL数据库1.NOSQL数据库理论基础NOSQL作为新兴数据库系统概念，由于其具备处理海量数据的能力，近年來受到各大IT公司的追捧。Amazon.Google等大型网商已纷纷斥资进行研究并开发了适用的产品。谈及NOSQL数据库，首先应该了解支持NOSQL的理论：CAP理论、BASE思想和最终一致性。(1)CAP理论CAP理论由EricBrewer在ACMPODC会议上的主题报告中提出，这个理论是N