农业银行分行基础数据平台的设计与实现-论文.pdf

《农业银行分行基础数据平台的设计与实现-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、外发溯试行中国农业银行股份有限公司湖南省分行柳佳雯周应堂陈勇由于以往的开发模式，农业银行各分行分析型应用该平台既提供了统一模型、统一标准的基础数据层，也系统存在系统架构、数据模型、数据标准不统一的问提供了分行特色开发的工具。题。移植其他分行的分析型应用系统存在很大困难，分1．多层次数据处理行之间难以共享系统开发成果。为了解决这一问题，农基础数据平台数据处理分为三个层次：操作数业银行总行启动了分行基础数据平台项目。分行基础数据区(ODS)、应用数据区(BDs)、汇总数据区据平台采用数据仓库建模方法，在分行部署模型统一、(GDS)。操作数据区主要实现源系统数

2、据的简单堆积标准统一的数据平台。为了适应分行分析性应用需求个和存储；应用数据区主要存储经过拼接、汇总、标准化性化、源系统多样化、管理要求多元化的特点，分行基转换等加工处理后的数据，为应用提供数据服务；汇总础数据平台覆盖多个关键源系统的数据，支撑大多数的数据区用于存储三个应用的共享数据，包括统一的指标分行自建数据分析性应用系统。库和报表数据等。其中，操作数据区和应用数据区属于对于业务支持而言，分行基础数据平台作为一个数封闭区域，不面向具体应用，数据的存储和加工主要面据汇集和整合的平台，通过对业务和管理数据进行集向源系统，保持了数据的原始性，无人工干预和篡改

3、，中、清洗和整合，为各类经营分析和决策支持系统提供确保每日按时抽取、加工和提供数据；汇总数据区直接准确、统一、全面的基础数据，并为知识的有效组织和面向应用系统，其数据为各个应用所共享。操作数据管理提供信息支持。区、应用数据区提供了公共的客户化的逻辑数据模型框架；汇总数据区不但提供了公共数据，并且可以根据自一、系统关键技术身需求进行模型建立，方式灵活多变。分行基础数据平台遵循建立数据分析性应用系统数2．车间模型据仓库建模思路，通过车问模型生成对应SQL脚本，采车间模型根据相应的规范，如脚本名的命名、临用多层次的数据处理方式，调度平台总控数据作业链。时表的使

4、用等，对于IQ端编写的数据处理逻辑的具体2o146／中国金融电脑43SQL，按其执行顺序，填写好Excel模版，最后用车间积，几乎不做清洗，以便高效地向总分行各类应用提供模型脚本生成器产生出相应的数据加工脚本。将脚本放最近任一时点的、基本保持原样的源数据。其设计原则在指定脚本执行目录下，设置脚本的相应执行权限，通是快速、完整地提供真实的源数据。应用数据层在操作过调度进行数据处理。车间模型为SQL的编写提供了相数据层处理源数据基础上，按照分行基础数据平台的统应的规则及模板，并将SQL的编写结构化，操作方便快一数据规则对数据进行整合，为汇总数据层和各应用提捷

5、，提高了工作效率及正确率。供数据来源。汇总数据层对应用数据层模型抽取共性信3．调度监控系统息，按客户进行汇总，同时分行也可以基于应用数据层调度监控系统实现平台的统一作业管理，确保基础模型开发适合自己分行的汇总数据层模型。数据平台各层的稳定运行。调度系统以作业为单位运作业调度系统统一调度上述三层的作业过程，实现行。首先把系统中数据流程的每个具体处理阶段定义为封闭运行和灵活处理。一个作业，再以作业为基础，把系统的整个数据处理流2．物理架构程配置为一条以执行)lbn,序为线索的作业链。本系统只部署于分行端，通过总行端的数据交换平调度系统分为前台和后台两部分。前

6、台负责基础数台获取源数据，然后在分行端完成批量调度、分析模型据平台的监控和日常维护功能，后台负责基础数据平台的ETL处理等功能，最终将加工处理后的数据供分行上的运转。调度系统通过调度管理这条包含了各个作业及层应用分析型系统使用(如图2所示)。作业间相互关系的作业链，实现了统一调度管理功能。(1)调度系统应用服务器采用PCServer做Web应用服务器集群，将调度系统二、系统架构和功能的应用部署在WAS中间件中，可以利用WAS自带的负为了解决分行多应用系统数据模型、标准、系统架载均衡完成负载功能。办公网用户通过OA网来访问应构不统一的情况，分行基础数据平台

7、以生产系统数据为用服务器，通过前台交易完成批量调度。对象，通过多层数据处理，在基础数据层面消除生产(2)SybaseASE数据库服务器系统之间的数据差异，保障了各种分析型应用的扩展性SybaseASE数据库主要满足调度系统的参数存储。与兼容性。构建稳定、完善、高扩展性的基础数据层，可以采用HA双机软件，利用两台PCServer组成主、备支持多样化的分析型应用，进行下游分析型应用系统改数据库服务器。当主服务器运行异常时，HA自动将备造，促成分行层面分析型应用架构的统一。同时，单一用服务器转换为主服务器，以保障系统的正常运行。的、完善的数据模型可以支持多样化

8、的分行分析型应(3)ETL应用服务器用，固化一套基于模型的分析型应用开发模式，易