民族证券自主开发数据中心

《民族证券自主开发数据中心》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、自主开发数据中心中国民族证券马光悌2前言证券公司的技术系统主交易系统和管理系统指令处理系统业务支持系统办公系统业务支持系统各行业都用，需求各异可考虑自主开发内容项目概述12系统介绍3建设过程4实现效果5近期目标一、项目概述：为何要建设数据中心？简化信息系统架构数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心减轻生产系统压力数据中心的数据不仅权威而且全面。利用先进的实现方法，使得统计和分析更便捷，这样会大大减轻生产系统的压力，同时也为建设新一代订单系统打下了坚实的基础保证业务数据

2、统一许多业务系统需要同类型的数据，由于不同系统处理方式和统计口径不尽统一，往往同类数据在各个系统中都不统一。数据中心建设后可以解决数据统一问题提高业务创新能力数据中心是数据加工厂，同时也是价值发现者，这样为我们后续业务系统的建设和完善提供了强有力的数据支持。提升决策分析水平数据中心的数据全面性和包容性强，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持一、项目概述：如何来建设数据中心？走自主开发建设道路能够贯彻落实属于我们的设计理念，快速响应业务部门的需求，节约运行维护成本，推动业务创新。构建稳定高效的平台面向海量数据，构建一个稳定高效的数据处理平台和服务

3、平台是数据中心建设的核心。采用成熟的开发工具利用成熟的ETL工具，能够保证数据整合的完整性、高效性和可维护性；利用成熟的BI工具，能够快速、灵活、多视角、丰富地展示各类数据。建立科学的数据模型根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好基础。分步骤建设数据中心数据中心是一个持续建设的项目，我们将根据我们的现实需求和未来需求分步骤来建设我们的数据中心。一、项目概述：如何来定位数据中心？数据加工厂在保持业务数据原始性和完整性的基础上，按一定的业务规则、指标、粒度对数据进行加工处理数据服务者建设统一的数据服务平台，为

4、各个业务系统以一定服务形式提供所需数据数据发布者数据中心体现了数据的权威性，向外报送的数据可以以统一的口径对外服务业务发动机数据中心的建设为创新业务的开拓奠定了坚实的基础，有了数据中心的基础，我们可以很方便很快速开发和实施一些增值服务系统。价值发现者通过数据中心数据长期的积累，我们可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识原则之一：逐步投入、分步建设原则之二：先易后难、逐步深入原则之三：标准统一、服务多样原则之四：架构稳定、灵活扩展原则之五：包容业务、有别业务原则之六：来自应用、服务应用原则之七：数据

5、积累、知识发现原则之八：树立权威、体现创新一、项目概述：建设数据中心的原则是什么？系统平台的建设：ODS平台、EDW平台、ETL平台、BI平台、管理平台业务数据的集成：DIS是依据制定的数据标准、业务规则和处理流程把来自不同业务系统的数据进行重新组织操作数据层开发：ODS不仅为各业务系统提供可操作的数据，同时也是转入到EDW的短期数据存储层数据仓库的开发：依据不同的业务主题和数据模型进行数据组织的，是数据统计、数据分析、数据挖掘和高速计算的基础管理平台的开发：在快速开发平台的基础上完成了数据中心管理平台的开发，并与Cognos平台进行了集成，实现数据的展示任务调度的开

6、发：在DataStage平台上开发各种数据处理任务，并把数据抽取、转换、处理、装载各个环节通过合理的调度完成数据整合一、项目概述：一期项目完成的主要内容是什么？二、系统介绍：技术框架原始数据操作数据数据仓库数据整合数据展示数据管理数据服务事务型DB：Oracle事务型DB：Oracle分析型DB：GreenPlumIBMDataStageIBMCognosDataStage、WebService快速开发平台RISC、AIXRISC、AIXX86、LinuxX86、LinuxX86、LinuxX86、LinuxX86、LinuxODSEDW交易营销资管财务清算客服内控资

7、讯二、系统介绍：数据关系EDW交易数据清算数据营销数据财务数据其它数据非结构化数据交易数据清算数据营销数据财务数据其它数据规整数据DATASTAGEETLODSDATASTAGEETLETL呼叫中心营销平台财务系统门户网站管理平台商业智能工具元数据管理和质量管理其它系统数据服务平台二、系统介绍：处理流程三、建设过程：系统选型之数据仓库选型选用GreenPlum满足了我们的需求海量并行处理结构(MPP：MassiveParallelProcessing)由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服