xx银行数据仓库建设项目方案

《xx银行数据仓库建设项目方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、银行数据仓库建设方案文件XX银行EDW/数据仓库项目方案４７银行数据仓库建设方案文件目录第一章系统总体架构３1.1总体架构设计概述３1.1.1总体架构的设计框架３1.1.2总体架构的设计原则４1.1.3总体架构的设计特点４1.2EDW执行架构５1.2.1执行架构概述５1.2.2执行架构设计原则５1.2.3执行架构框架６1.3EDW逻辑架构１３1.3.1逻辑架构框架１３1.3.2数据处理流程１９1.4EDW运维架构２０1.4.1运维架构概述２０1.4.2运维架构的逻辑框架２１1.5EDW数据架构２６1.5.1数据架构设计原则２６1.5.2数据架构分层设计２８1.6ED

2、W应用架构３０1.6.1应用架构设计原则３０1.6.2数据服务３１1.6.3应用服务３２第二章ETL体系建设３３2.1ETL架构概述３３４７银行数据仓库建设方案文件2.2ETL设计方案３５2.3ETL关键设计环节３５2.3.1接口层设计策略３５2.3.2StagingArea设计策略３５2.3.3数据加载策略３６2.3.4增量ETL设计策略３６2.3.5异常处理３８2.3.6作业调度和监控３９2.3.7元数据管理３９2.3.8ETL模块设计３９2.3.9ETL流程设计４２2.3.10动态资源分配４４2.3.11数据接口设计４５４７银行数据仓库建设方案文件第一章系统总

3、体架构1.1总体架构设计概述1.1.1总体架构的设计框架XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。这三个部分共同组成了XX银行EDW系统。在基础技术架构中，包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。n执行架构描述系统大的框架和模块区域，以及之间的逻辑关系；是确定生产环境的建设要求及指导原则。n逻辑架构描述EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况，用于规范本项目最终生产环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的基础，也是建立执行架构、应用架构以及运维架构的原型系

4、统。n功能组件架构描述确定系统各个大的组件组件区域的功能模块框架，以及提供的某种服务类型。n运维架构是描述EDW项目的运维架构标准，包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。而数据架构和应用架构的主要描述：n应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务需求是应用架构设计的基础，最终的应用架构将以应用系统的形式体现在执行架构中，主要包括：应用服务和数据服务。n４７银行数据仓库建设方案文件数据架构描述于EDW系

5、统相关的数据流动策略，即数据在EDW系统的执行架构下的抽取、转换、储存策略以及应采用的流程，包括数据层次和总分行之间的数据分部情况等。数据架构是建立执行架构标准的需求定义。下图是EDW项目总体架构的框架：1.1.1总体架构的设计原则n总体架构在着重考虑实施要求的同时，需要为后续阶段进行规划，以保证项目最终能够达到目标架构的设计；n总体架构的设计要基于包括XX银行数据现状分析、实施阶段数据源情况分析、第一阶段实施EDW设计建议做为参考；n总体架构设计架构时充分考虑与现有系统兼容，充分利用已有成果，避免重复开发和建设。n总体架构设计过程中应遵守XX银行的IT管理规程，保

6、证最终的系统可以顺利的部署并移交给XX银行的运行维护部门。1.1.2总体架构的设计特点n权衡功能、性能、可扩展性、易用性、可管理性和性价比。４７银行数据仓库建设方案文件n根据XX银行的数据情况和分析需求，采用多层次的企业EDW系统架构来保证在存在复杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和性能等方面的要求。n多级／自动的增量ETL加载机制，有效提高ETL并发度、加载效率，降低错误处理的复杂性。n通过用户入口支持用户采用Web浏览器使用查询和分析工具，统一的信息服务界面，提高系统易用性，减少技术支持工作量。n利用企业信息集成和Web数据服务，提高

7、系统的数据支持能力和接口的一致性。统一的数据增强平台也减少数据增强的复杂度。1.1EDW执行架构执行架构的主要内容是描述EDW项目执行架构的建设要求及指导原则，用于规范本项目最终生产环境的建设。EDW项目的生产环境的建立需要参考并遵循执行架构部分提出的要求。1.1.1执行架构概述执行架构是EDW的概念环境，主要包含：源数据、数据落地区、ETL、数据准备区、数据存储区EDW、业务应用、用户环境、数据管控、系统安全性以及EDW基础设施平台（包括：服务器、存储、网络）等功能组件。从技术层面上来说，EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。1.1.2执