数据仓库与大数据融合的探讨-论文.pdf

《数据仓库与大数据融合的探讨-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、r_。。毫

2、007化专栏数据仓库与大数据融合的探讨于鹃(中国水利水电第三工程局有限公司西安710016)摘要：针对传统企业对非结构化数据缺乏有效利用的问题，探讨了基于数据仓库与大数据融合的企业大数据解决方案。根据数据仓库建设理论和下一代企业级数据仓库架构，利用Hadoop技术进行非结构化数据的收集、处理及存储，通过与传统数据仓库和BI工具共同协作，解决企业大数据应用困难的问题。数据仓库与大数据技术的融合解决了传统企业数据处理的障碍，从而推动大数据项目的实施。关键词：大数据；数据仓库；Hadoop；架构doi：10．119590．issn．100O一0801．2015066Discussiono

3、nIntegrationofDataWarehouseandBigData(SinohydroBureau3Co．，Ltd．，Xi’an710016，China)Abstract：Inviewofthetraditionalenterprisecouldn’tusesuchunstructureddataeficiently，abigdatasolutionsbasedonintegrationofdatawarehouseandbigdatawasdiscussed．Basedonthetheoryofdatawarehouseconstructionandarchitectureofthe

4、next—generationEDW，Hadoopwasusedtocollection，processingandstorageforunstructureddata．BybigdatatechnologyworktogetherthtraditionaldatawarehouseandBI．tohelpenterprisestosolvedificultiesthatapplied．Integrationofdatawarehouseandbigdatacanresolvethedificultyondataprocessingandpromotetheimplementationofbi

5、gdatapmjects．Keywords：bigdata，datawarehouse，Hadoop，architecture很多人以为数据仓库就是“数据库的集合”或者是更1引言大规模的数据库．其实数据仓库是利用已有数据库，对其数据库技术从诞生到现在，已形成了成熟的理论基中的数据进行再一次抽取、加工和使用，并最终用于管理础、实践方法以及技术产品，并已在此基础上建立了覆盖决策，并不是简单的数据复制或数据累加。另一方面，在数各个行业、各个领域的各类业务系统，数据库技术是信息据仓库中会使用数据库技术对其中的数据进行管理，因此技术的重要组成部分，它让人们可以将纷繁复杂的信息按也有一种看法认为数据仓库是

6、数据库技术的升级。数据仓规律进行保存、使用和管理。而随着数据库系统的应用，如库与数据库技术息息相关．但又不仅是数据库技术，它是何使用和分析已有的数据库又成为一个新问题，在这种背以数据库技术为核心，涉及元数据、数据挖掘、BI等多技术景下，数据仓库应运而生[11。领域的综合应用。收稿日期：2014—09—15：修回日期：2015—02—27论文引用格式：于鹃．数据仓库与大数据融合的探讨．电信科学，2015066YuJ．DiscussiononIntegrationofDataWarehouseandBigData．TelecommunicationsScience，2015066在国内大多数企业还

7、在集中精力进行系统整合、数据动设备和传感器等新渠道以及新技术使用所带来的半结仓库建设的时候，“大数据”这个名词似乎一夜之间名传天构化或非结构化的数据，而想要挖掘利用这些数据并通过下，其受追捧程度比前几年的云计算有过之而无不及，按预测分析产生价值，传统的数据库运算和处理能力无法实照Gartner公布的新兴技术炒作周期分析报告显示，大数现，在这种情况下大数据技术产生了。以Hadoop为代表的据在2013年已经处于期望膨胀期的顶端闭，但在2014年8月大数据技术在互联网企业的成功使用．极大地刺激了业界公布的报告中，大数据就已进入了幻觉破灭期[31，Gartner预对大数据的热情，似乎只要是有关大量数

8、据的分析预测都计大数据要在510年才能到达稳定期。大数据虽然在降是大数据，在这种情绪下唱衰数据仓库也就可以理解了。温，但一个与大数据密切相关的“数据科学”又出现在今年按照科尔尼咨询公司的预测，全球用于大数据的软的技术成熟度曲线中．这说明大数据的出现不但加速了信件、硬件以及服务费用将以近30％的复合年增长率增长，息技术的发展与融合。同时对自然科学与社会科学领域产到2018年将达到1140亿美元嗍，而