ODS数据服务平台介绍资料讲解.ppt

《ODS数据服务平台介绍资料讲解.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ODS数据服务平台介绍数据平台两大功能1、提供数据服务增量层（INCR层），存放生产库的存量数据，以此作为所有外围系统的数据接口，提供数据级服务。2、提供信息服务ODS层（BaseDB与CubeDB）BaseDB存放融合的基于操作级的数据，而CubeDB是基于BaseDB的汇总数据，以此提供数据查询与数据的统计。ODS层只存放与统计相关的数据。增量层的数据范围＞ODS层的数据范围7/28/20212保监会报表、总部快报等CallCenter、省级数据接口DTS调度抽取DTS调度抽取Trigger抽取增量及全表抽取CBPS8版年金系统AMIS财务系统……镜像库镜像库增量数据库增量数据库SQ

2、LServer数据库INFORMIX数据库省级ODS数据库SQLServer数据库CBPS7版总部汇总层总部ODS数据库未确定数据库总分传输省级汇总层DTS调度抽取SQLServer数据库7/28/20213层次间的数据导向1、增量层（INCR）是生产系统的同构层，并且是逻辑集中的。有几类业务系统就有几个增量数据库。2、BaseDB对同构层数据进行了集成和融合，但它还是基于操作型数据的3、CubeDB对数据进行了抽象和加工，它并不是基于操作型数据的。主要是针对前台的报表应用建立统计模型。不同层之间的数据特点决定了它们的应用方向。如：1、增量层适合于作为数据供应池2、BaseDB除了作为C

3、ubeDB的数据汇总来源外，还可提供数据查询使用3、而CubeDB适合于报表生成和数据分析7/28/20214目前应用基于数据服务的应用有：CallCenter、电子商务，以及后期的再保数据接口，他们将从增量层获取数据基于信息服务的应用有：中介统计平台、保监会报表系统以及每日业务快报、广东省报表中心等，他们均从ODS层获取数据（即基础数据来源于BaseDB，经过汇总，产生CubeDB中的事实表数据）.7/28/20215数据平台建设的几点原则1、整个架构基于PC服务器当前多层次的架构适合于多个PC服务器的联合工作。如果采用小型机架构，存在下列问题：1）数据平台庞大的数据以及复杂的层次结构

4、，将要求独占小型机资源，这对于各省的硬件设备，难以支撑。2）如果把数据平台的各层都架构在小型机上，那么应用上难以达到平衡，应用间效率的互相影响和牵制会相对突出。而采用PC服务器方式，由于PC服务器成本低，我们可以通过多台PC服务器的联合工作，获得有效的性能。未来设备采用：使用64位的PC服务器＋高速磁盘存储设备，将会给数据平台提供坚实的基础。7/28/20216数据平台建设的几点原则2、基于微软平台与微软技术微软平台的集成性和方便快捷是显而易见的。数据库采用SQL　SERVER，在SQL　SERVER中，集成了如下服务：数据库平台、报表工具（ReportingServices）、ETL工

5、具（DTS）、分析平台（AnalysisServices）以及复制工具（ReplicaiotnServices），而且许多BI工具都是很有名的。应用前端基于.NET平台，在微软平台上，采用.NET技术一定优越于JAVA。除非我们要在UNIX平台上建立应用，否则，采用JAVA是舍简取繁。7/28/20217数据平台建设的几点原则3、采用Trigger方式提供轨迹数据由于各个生产库在设计阶段，都未充分考虑到轨迹数据的记录，所以采用Trigger方式，是目前唯一可行的方案。这样，才能保证数据平台的数据与生产库之间的一一对应。否则，你费尽心力，也难以作到双方的数据一致性。7/28/20218数据

6、平台建设的几点原则4、增量层作为生产库的同构层，并作为数据供应池增量层与生产库是完全的同构关系，有多少种生产库，就有多少个增量库，目前数据平台中设计好的增量库有：CBPS7版增量库（INCRDB）、CBPS8版增量库（INCRV8）、AMIS增量库（INCRAM）、年金增量库（INCRNJ）以及投连万能增量库（INCRUL）。目前增量层中的数据已扩充成全量数据。这一层是为外围系统而生的。主要是考虑到对CALL　CENTER与再保系统的深度支持。7/28/20219数据平台建设的几点原则5、BaseDB保存集成的、经过融合的、基于操作型的数据如果直接在增量层上架构统计应用，会存在许多的不便

7、，因为增量层中的数据是非集成的，一项统计可能要跨越多个数据库，同时，数据是非融合的，一项统计可能要基于不同的数据库进行复杂的定制。而基于BaseDB，可以在很大程度上避免这些复杂性。但同时，BaseDB中的数据还是基于操作型的数据，并未进行太多的抽象，这样带来的优点是：1）我们可以有效减少ETL的复杂性　2）提高了ETL的效率。也正因为BaseDB是操作型数据，所以我们需要CubeDB层对基于统计的数据进行抽象加工。7/28/202