etl技术在大型装备制造企业的应用

《etl技术在大型装备制造企业的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ETL技术在大型装备制造企业的应用　　摘要商业智能（BI）分析对于大型装备制造企业非常重要。BI通常要有质量较高的数据仓库为支撑，而ETL（数据抽取、转换、装载）是构建整个数据仓库的核心和灵魂。本文通过对ETL技术在大型装备制造企业的应用研究，详细阐述了ETL的应用过程，并以实例说明了其带来的应用价值。　　【关键词】数据仓库ETL应用过程价值　　1ETL介绍　　1.1ETL相关概念　　ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转

2、换（transform）、加载（load）至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗和加工，最终按照预先定义好的模型，将数据加载到目的数据仓库中去，做各种商业智能分析或者用于主数据管理体系。具体来讲：　　1.1.1数据抽取　　将数据从各种原始的业务系统或者非结构化文档中读取出来。　　1.1.2数据转换　　按照预先设计好的规则将抽取得数据进行转换、清洗、加工，统一抽取的数据格式。　　1.1.3数据装载　　将转换完的数据按制定的规则增量或全部导入到目的数据仓

3、库。　　1.2ETL的重要性　　在互联网和大数据飞速发展的当今时代，越来越多的企业已经认识到了数据将是企业的核心资产，能够为企业创造新的价值。这些能够为企业带来价值的数据都需要经过从各种原始的数据采集而后加工分析得出，因此前提是要构建企业的数据仓库，而在构建数据仓库过程中，数据的抽取、转换、装载（ETL）是最重要也是最花费时间和人力的，往往占整个项目的60%以上的工作量，而ETL的成败将影响整个数据仓库构建的成败及数据质量，因此ETL的关键作用也决定了其在数据仓库构建过程中的核心地位。　　2ETL的应

4、用过程　　ETL的应用过程按照大的步骤分为数据的抽取、转换、加载三个过程，但实际在应用过程中往往要经历数据源的识别、数据模型建立、数据清洗和加工、流程设定、运行跟踪五个过程，见图1。下面将结合Informatic的ETL工具PowerCenter进行详细阐述整个应用过程。　　2.1数据源识别　　ETL首先要进行数据源的识别，数据的来源有多种多样，可以是数据库、文件或消息等，目前在大型装备制造企业中用得较多的是数据库。数据库的数据源中存储了所有建立数据库连接的信息，就像通过指定文件名称可以在文件系统中找

5、到文件一样，通过提供正确的数据源名称，就可以找到相应的数据库连接，见图2。　　2.2数据模型建立　　定义了数据源和目标数据库后，数据模型的建立过程在PowerCenter中是映射的建立过程，描述源和目标之间数据流的映射关系。映射界面是基于组件的，需要向映射中添加转换，用以描述在载入目标之前如何提取和转换数据，见图3。　　2.3数据清洗和加工　　根据业务逻辑筛选出需要的源数据并对这些数据进行处理，形成符合目标数据标准的数据，PowerCenter提供了一系列的功能函数供用户构建相关的表达式及字段组合及拼

6、凑字符串等各类数据加工手段，帮助完成数据清洗和加工工作，见图4。　　2.4流程设定　　从源数据转换成需要的目标数据是一个复杂的过程，往往需要经过设置多个数据清洗和加工逻辑，同时将这些不同的逻辑按照一定的顺序执行，即形成数据转换的流程，每个流程都是一个指令集，指示如何执行任务，可以在一个流程中加入多个任务，以同时或依次运行任务。PowerCenter可以利用工作流中配置的指令运行任务，见图5。　　2.5运行跟踪　　流程设置完毕后需要运行，需要使用WorkflowMonitor监控流程的执行情况。Work

7、flowMonitor是一个监控流程和任务的工具。可以使用甘特图视图或任务视图查看流程或任务的详细信息。在WorkflowMonitor中可以启动、停止、中止或继续流程，见图6。　　通过上述的5个步骤，完整的实现了从数据源的识别到最终转换成目标数据的过程。　　3使用ETL带来的价值　　ETL的成功应用将为企业带来巨大的价值，从作者供职的大型装备制造企业中主要体现在两个方面：　　3.1内部业务系统的数据集成　　由于各种原因，企业的生产物资系统数据库采用分布式部署，每天需要将分布在全国各地20多个数据库的

8、数据约2200多万条物资采购和使用数据集中汇总至总部进行整理分析，应用ETL技术后，数据采集和清洗的效率、准确性和系统性能大幅提高，同时简化了整个数据汇总分析的过程。　　3.2大型装备工况数据的采集分析　　企业生产的大型港口机械装备遍布全球码头，每台设备上都装有起重机管理系统，这些设备的故障、旁路、工作循环等各类工况数据都会存入起重机管理系统，由于用户的要求不同，系统使用的数据库各不一样，数据项也会略有差异。企业需要收集这些设备的工况数据到内部的云平台上