大数据架构关系分析及应用

《大数据架构关系分析及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据架构关系分析及应用　　摘要：用哪种平台能更有效地从海量数据中找到有价值的信息并利用，是现代IT人不断追求的目标。简述了大数据的定义与特征，提出大数据的架构模型。从软件角度对大数据架构平台进行了分析与研究，分析了大数据架构模型各层次的意义与关系，描述了数据存储层及计算框架层的技术应用，并对大数据应用进行了展望。　　关健词：大数据；大数据定义；大数据架构；计算框架　　中图分类号：TP393文献标志码：A文章编号：1006-8228（2016）12-42-04　　Abstract：Whichplatformcan

2、beusedmoreeffectivelytofindvaluableinformationfromthemassdataandtomakeuseofit，isthegoalofmodernITpeoplecontinuetopursue.Thispaperbrieflyintroducesthedefinitionandcharacteristicsofbigdata，andputsforwardthearchitecturemodelofbigdata.Thebigdataarchitectureisanal

3、yzedandstudiedfromthesoftwarepointofview，themeaningandrelationshipofalllayersofthebigdataarchitecturemodelareanalyzed，thetechnologiesusedinthedatastoragelayerandcomputingframeworklayeraredescribed，andtheapplicationofbigdataisprospected.　　Keywords：bigdata；bigd

4、atadefinition；bigdata10architecture；computingframework　　0引言　　当前，大数据存储信息全球所拥有的数据总量已经远远超过历史上的任何时期，且数据量的增加速度呈现倍增趋势。技术的发展往往不是那么一往无前，而是一直不停的迭代，然后论证，再互相影响。大数据技术也同样如此，从各种各样类型的数据中，做到快速获得有价值信息的能力，主要是大数据技术。　　就现今数据分析方法而言，更多倾向于数据的关联性，精确性。数据种类繁多，在编码方式、存储格式和应用特征等多个方面也存在多层次

5、、多方面的差异性，结构化、半结构化、非结构化数据并存；如何处理隐含于生产者和消费者之间产生的数据知识的价值信息延迟，一直是现代计算构架不断演进的主要动力。　　1大数据的定义　　在大数据的快速发展中，各个学者试图对大数据理论、模型、分析、解决方案等提出自己的见解，并且定义也多种多样，但是被大多人所认可的是由道格拉斯?兰尼（DouglasLaney）在2001年提出的经典的3V定义：规模庞大的数据集合（volume），高速（velocity）地累积和变化，以及广泛（variety）的来源种类[1]。在2012年世界经

6、济论坛上增加了第四个V：价值（value），将大数据作为一种新的经济资产。大数具有以下最为重要的五大特征。　　⑴非竞争性（non-Rival）：它可以被许多消费者同时使用和重复使用。这意味着向个人提供大数据的边际成本是零。10　　⑵持续增长（Rising）：大数据还呈指数级增长（Rising）。最小的基本单位是Byte，1TB=1，024GB；1PB=1，024TB；1EB=1，024PB；1ZB=1，024EB；1YB=　　1，024ZB。在现阶段的TB时代，1NB=2的60次方TB=1152921504606

7、846976TB=115292150460684697个1TB硬盘。　　⑶精炼（Refinable）：这些海量数据很容易处理和精炼（Refinable），一家公司越使用大数据，它的质量和价值就越高。　　⑷可再生（Renewable）：大数据是可再生的（Renewable），像风能一样。　　⑸可转变用途（Repurposable）：大数据是可延展和转变用途的（Repurposable）。作为一种资源，大数据是非竞争性、不断增长、可精炼、可再生以及可转变用途的。大数据是应用领域一项伟大的资产，它是一种非常真实的现象，

8、是一种对任何组织来说都非常珍贵的资源[2]。　　2大数据架构模型　　近年来，世界产生的数据就超过了可用存储量。已经从思考“存储什么”转向了“清除什么”。当下智能手机由于存储了过多的图片而变得空间不足，这已经是一个全球性的问题了。经常是存储后再也没看过，或是偶尔查阅，这样就成就了一句话：存储中的一半数据是垃圾。只有那些知道怎样提出正确问题的人才知道哪些数据可能会对提问有用和