etl在超市大数据量中的应用研究

etl在超市大数据量中的应用研究

ID:5285736

大小:541.26 KB

页数:4页

时间:2017-12-07

etl在超市大数据量中的应用研究_第1页
etl在超市大数据量中的应用研究_第2页
etl在超市大数据量中的应用研究_第3页
etl在超市大数据量中的应用研究_第4页
资源描述:

《etl在超市大数据量中的应用研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、2013年第11期文章编号:1009—2552(2013)11—0117—04中图分类号:TP311文献标识码:AETL在超市大数据量中的应用研究夏魏,邵清(上海理工大学光电信息与计算机工程学院,上海200093)摘要:数据抽取、转换和装载(Extract,Transformandloading,简称ETL)是数据仓库、数据挖掘以及商业智能等技术的基石。文中首先简单介绍了ETL概念及其意义,然后设计和开发了应用于超市行业商业智能的ETL程序,已在超市行业管理信息与决策支持系统中得到应用。关键词:ETL;

2、数据仓库;BITheETLapplicationofsupermarketlargeamountofdataXIAWei.SHA0Qing(SchoolofOptoelectronicInformationandComputerEngineering,UniversityofShangh~forScienceandTechnology,Shanghai200093,China)Abstract:Dataextraction,transformationandloading(Extract,Transfo

3、rmandloading,ETL)istheeomerstoneofdatawarehousing,dataminingandbusinessintelligencetechnology.ThisarticlefirstintroducestheETLconceptanditssignificancebriefly,andthendesignsanddevelopstheETLproceduresusedinthebusinessintelligenceofsupermarketindustry.The

4、ETLhasbeenappliedinthesupermarketindustrymanagementinformationanddecisionsupportsystems.Keywords:ETL;datawarehouse;B10引言清洗也是建设数据仓库的重要步骤,并且通常在ETL过程中进行,因此研究人员将数据清洗也加入信息资源是现代企业的宝贵资源,是企业进行到ETL研究中来。随着数据仓库、数据挖掘以及其科学管理和决策分析的基础。随着商业智能技术他信息系统建设等对数据集成的高度要求,数据(数据仓库

5、(Data—Warehouse,DW)、联机分析处理ETL逐渐成为当前信息技术中较活跃的研究领域(OnlineAnalyticalProcessing,OLAP)和数据挖掘之一。(DataMining,DM)等)的发展,许多企业需要通过对联机事务处理业务系统和办公自动化系统记录的1ETL的概念及功能大量业务数据进行加工和分析,找出有价值的信息,数据采集(ETL),即数据抽取(Extract)、转换以支持企业的经营决策。数据仓库的出现使这一任(Transform)、清洗(Cleaning)、装载(Load

6、ing)的过务成为可能,越来越多的企业立足于多年积累的数程,是构建数据仓库的重要环节。用户从数据源抽据和自身的核心业务,构建了企业级数据仓库系统。取出所需的数据,经过数据清洗,最终按照预先定义ETL的概念是随着数据仓库的产生而产生的。好的数据仓库模型,将数据加载到数据仓库中去。建设企业数据仓库最关键的工作就是将各业务系统具体来讲,数据抽取是数据源接口,包括原始数据接中的数据按主题进行重新集成,而大多数企业的业口和外部数据接口,源数据接口从业务系统中抽务系统都存在平台不同、数据源异构等问题,这使得收稿日期

7、:2013—04—19数据集成非常复杂,给数据仓库的建设带来了很大作者简介:夏魏(1988一),男,研究生,研究方向为操作系统,计算机系统容错和商业智能等。困难。为解决这类问题,人们提出ETL的概念,它逐渐形成一个较为独立的数据集成模式。由于数据一1l7一取数据,为数据仓库输入数据。数据转换:数据转化为背景,设计开发了应用于超市行业每天大数据量包含对来自多个生产系统的数据源的处理,保证数更新的ETL程序。据按要求装人数据仓库。数据清洗:一个确保数据2超市数据ETL设计及实现集中的所有数值是一致的和被正确

8、记录的处理过2.1超市BI简述程。数据装载:数据装载部件负责将数据按照物理如图1所示,是整个超市商业智能(BusinessIn-数据模型定义的表结构装人数据仓库。这些步骤包telligence,BI)的流程图,其中ETL是整个BI中的一括清空数据域、填充空格、有效性检查等。ETL是构部分,其起着至关重要的作用,其中虚线区域是该建数据仓库的第一步,也是构建数据仓库最重要的BI流程图的ETL。步骤。本文以超市行业信息管理与智能决策支持系统ETL

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。