企业数据中心技术方案

《企业数据中心技术方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

企业数据中心技术方案 目录第一章前言21.1．项目建设背景21.2．项目目的3第二章企业数据中心的技术架构42.1．逻辑架构42.1.1．数据获取整合层52.1.1.1数据整合52.1.1.2快速数据集市方案SAPBusinessObjectsRapidMarts72.1.1.3元数据管理82.1.2．数据存储层92.1.3．分析展示层102.2.方案物理配置建议16 第一章前言1.1．项目建设背景随着经济全球化的发展和竞争的不断加剧，快速的应变能力和战略决策能力已经越来越成为企业良性发展的重要核心竞争力之一，能否利用科学的方法和信息化手段提升企业的信息管理水平，将直接影响到企业的决策和对市场的准确把握。企业在数据进行各种复杂分析，如长期趋势分析和各类信息的综合对比等，需要从大量的历史数据中获取信息，要求系统保存足够的历史数据，而且还要进行复杂的分析处理（每次处理涉及大量数据），如果直接基于分散的各种事务处理系统开展分析应用，则不可避免地要遇到以下诸多障碍：1：缺乏组织性，数据难以转化为有用的信息。事务处理系统中数据结构是面向操作的有效性组织的，而非面向管理分析的需要。分析所需要的数据内容可能分散在许多数据对象甚至许多应用中。将这些零散而且结构各不相同的数据统一起来的工作将是复杂而繁重，难以应付不断变化的分析工作的需要。2：干扰事务处理系统的正常运行。分析处理往往需要涉及较大的数据量，而事务处理系统则要求尽快做出响应，如果进行一次大规模的分析，对事务处理系统性能的影响是难以忍受的，从而严重影响其正常运行。3：缺乏足够的历史数据。分析应用常常需要通过一段历史时期的数据来分析趋势，而事务处理系统中一般只存储当前的短期数据，并且各个应用领域的保存期限也不一样，这对于长期趋势分析和规律探索构成制约。4：结果的准确可比性难以保证。 事务处理系统是随时更新变化的。基于随时变化的数据源难于对问题作出一致的回答，而不一致的答案会干扰决策过程。1.2．项目目的数据仓库技术是在企业建立一个集成、共享的数据管理平台；整合不同来源的数据，发挥历史数据价值，提高数据分析的能力；为企业各层次人员提供多维信息统计分析、关系挖掘、查询检索和报表生成工具；实现企业数据向信息、知识的转化，为管理层决策提供及时有效地支持。近20年的事实已经证明，以建设数据仓库为核心建立企业数据中心是满足企业进行综合分析的最有效技术手段。 第二章企业数据中心的技术架构2.1．逻辑架构针对数据中心的需求，可以将整个系统分为数据获取整合、数据存储和分析展示三层，下边分别对三个层次进行阐述。2.1.1．数据获取整合层2.1.1.1数据整合 数据获取和整合层主要实现从现有业务系统及外部数据来源中检索/接收，将来自不同系统、具有不同数据格式的数据转换成统一格式并去除错误的操作，并加载到企业数据中心数据仓库中。并且在这个过程中进行数据质量的清洗和主数据的管理。本方案采用了开放数据仓库和集市作为数据中心的综合数据存储策略，长期历史数据积累在数据仓库，主题分析数据积累在数据集市。针对企业中的各种业务系统，我们建议使用SAPBOBJ的数据转换产品DataIntegration，将开放数据源的数据加载到数据仓库中，该工具可以实现将数据进行清洗及按照最终的分析目的进行模型转换。对于DataIntegration工作的数据源和数据目标，它支持各种主流开放关系数据环境，包括数据库，数据仓库和ERP等业务系统。在数据存储层中间数据集市和数据仓库中间的数据调度和和转换，本方案也使用DataIntegration完成，SAPBOBJDataIntegration可以将数据集市中的数据抽取出，经过模型转换把数据加载到数据仓库中，也可以把数据仓库中的，下发的数据加载到数据集市。实现仓库和集市的双向数据调度。下图为支持的数据种类。 使用SAPBusinessObjectsDataIntegration，提供完整的数据整合方案，主要优点是：lDataIntegration具有易于使用的无编码用户界面，提升开发人员的生产率。l企业级的数据整合，支持几乎所有异构类型的数据环境。l对面向服务的架构(SOA)环境，提供Web服务支持。l借助SAPBusinessObjectsRapidMarts中预构建的各种企业应用程序，加快产品上市时间。l与SAPBusinessObjects商务智能软件有出色的集成。 2.1.1.2快速数据集市方案SAP针对企业常见的分析需求，已经定制好了快速数据集市方案，快速集市SAPBusinessObjectsRapidMarts通过多年数据仓库经验和对企业业务流程的理解,为SAP、PeopleSoft、Oracle和Siebe等企业应用程序提供封装的数据整合与抽取、转换和加载(ETL)工具。这些的软件包将相关领域的知识与数据整合方面的最佳做法融合在预先构建的数据模型、转换逻辑和数据抽取功能中。SAPBusinessObjectsRapidMarts软件包是SAPBusinessObjectsDataIntegrator的加载项。SAPBusinessObjectsRapidMarts软件包具有以下功能：l数据模型l用于模型创建的DDL脚本l建议的联接和索引lETL工作流，用于处理初始数据和增量数据l工作恢复框架lUniverse、SQL和报表示例l技术和业务分析文档上图以SAP为例的10个快速集市包 2.1.1.3元数据管理在数据仓库领域中，元数据被定义为：描述数据及其环境的数据。一般来说,它有两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:l描述哪些数据在数据仓库中；l定义要进入数据仓库中的数据和从数据仓库中产生的数据；l记录根据业务事件发生而随之进行的数据抽取工作时间安排；l记录并检测系统数据一致性的要求和执行情况；l衡量数据质量。本方案采用SAPBusinessObjectsMetadataManagement解决在管理来自多种数据源、技术和系统的元数据时所遇到的各种难题。SAPBusinessObjectsMetadataManagement可将元数据合并和整合成一个开放的关系资源库。SAPBusinessObjectsMetadataManagement通过将全部数据整合在一起，可减少工作量，降低项目成本并为用户提供可信的数据和分析。l审核来自完全不同的工具和来源的元数据，并将其整合成一个资源库；这些工具和来源包括商务智能(BI)；抽取、转换和加载(ETL)产品；关系数据库；建模工具；以及第三方元数据。l轻松查看和分析整合后的元数据，以获得有关数据使用、全面更改影响分析，以及报表到来源的数据沿袭的信息。通过提供一个可显示所有元数据资产及其关系的中央视图，交付可信数据以便满足合规性要求，实施数据控制行动计划和内部控制，改进决策过程。l提供IT行业的第一个“Metapedia”，–这是一部将元数据转换成业务定义的Encyclopedia，可降低导航和数据发现的难度。 2.1.2．数据存储层数据存储层实现对数据仓库中数据和元数据的集中存储与管理，并可根据需求建立面向部门和主题的数据集市和多维数据库。建议数据集中存储，并按不同的粒度分为若干层，不同粒度的数据有各自的生命周期。比如，粒度较小的明细数据，可以在三个月后删除；粒度较大的汇总数据，保存五年以上；数据最好能统一建模，并在此基础上划分为逻辑上数据集市，供不同的业务部门使用；数据建模时不但要考虑到满足目前的需求，并为将来可能的扩展和数据源变更等提供良好的接口。数据仓库部分在构造数据仓库的过程中，我们建议采取以点带面的做法，采用小步长、逐步地建立数据仓库的策略。分阶段地实现商业智能应用。小的项目可以立即显示数据仓库的价值，同时也提供了更快的投资回报。而且，先在只有少量的数据和用户的小系统上进行学习和实践，对技术人员来说会学得更快。 数据仓库部分的主要功能，是各个业务部门提供的数据以及相关的外来数据，设计符合信息分析要求的数据模型，建立自动数据处理机制，为决策分析提供完整、统一、准确的数据来源。其数据存储在关系型数据库中。数据仓库存储采用开放数据库或者数据仓库软件，如Oracle,NCR,IBMDB2,MSSqlServer等。数据集市部分在数据集市层面，应根据数据仓库系统不同用户的具体的分析需求，建立相应的分析模型以支持不同的应用。数据集市所用的分析方法将包括：l静态报表l动态查询l多维在线分析l数据挖掘在数据集市的数据存储方面，对于报表和数据挖掘模型，数据存储在关系型数据库中；多维分析模型的数据则既可以存储在多维数据库里，也可以存储在关系型数据库中，当然其数据表要求被组织成星型或者雪花型模式，以支持多维分析。数据集市存储采用开放数据库或者数据仓库软件，如Oracle,NCR,IBMDB2,MSSqlServer等。本方案存储层中仓库和集市之间的数据迁移和调度，采用SAPBOBJDI软件完成。2.1.3．分析展示层通过多样化的前端分析展示工具，实现对数据仓库中数据的分析和处理，形成市场经营和决策工作所需要的科学、准确、及时的业务信息和知识。前端展现工具建议使用SAPBOBJ。作为全球市场占有率第一的数据仓库前端展现工具，SAPBOBJ有许多特有的优势。本方案前端展示部分采用了B/S的体系结构。采用一台NT架构的服务器，作为分析服务器。其上运行SAPBOBJ的服务器产品BusinessObjectsEnterprise以及制作分析报表的产品组件Web Intelligence，领导层用户使用的关键业务指标分析组件CrystalXcelsius进行指标分析。各个类型的用户都可以使用基于搜索智能的产品组件BOBJExplorer。各类最终用户使用IE浏览器查看浏览各种报表、图表、指标。n业务分析人员使用WebIntelligence基于web创建分析报表、进行灵活查询的工作。(见下图) 下图为WebIntelligence进行数据钻取的例子。（丛东北大区钻取到办事处）n报表管理员使用CrystalReports制作各种固定报表和打印输出的报表。（见下图） n使用CrystalXcelsius让领导层用户基于web进行指标分析(见下图) n各个类型的用户都可以使用基于搜索智能的产品组件BOBJExplorer（下图） 2.2.方案物理配置建议配置图用户客户端Ø手机移动客户端客户使用手机浏览关键业务指标。配置推荐：推荐使用开放手机ØWeb分析浏览浏览客户端客户使用IE浏览器浏览分析和报表。配置推荐：推荐使用开放PC。ØOffice分析浏览客户端客户使用PPT,Excel,Word等Office工具为客户端，进行灵活查询、数据分析。配置推荐：推荐使用开放PC。 Ø管理员IT维护人员，使用BOBJ管理工具维护管理驾驶舱和报表安装产品：ØCrystalReports报表制作工具Ø管理驾驶舱维护CrystalXcelsius配置推荐：推荐使用开放PC。服务器端ØSAPBOBJXIR3分析服务器安装产品：nBOBJWebIntelligencenBOBJEnterprisenBOBJExplorernBOBJXcelsius配置推荐：BOBJ前端服务器硬件配置样例以500用户为例，具体项目中，需要按照实际情况进行估算。推荐使用开放主流windows服务器。l4CPUl8GB内存l36GB以上的系统硬盘Ø数据整合服务器安装产品：nSAPBOBJDI配置推荐：数据整合服务器硬件配置样例具体项目中，需要按照实际情况进行估算。推荐使用开放主流UNIX或者Windows服务器。l2CPUl4GB内存 l36GB以上的系统硬盘Ø数据仓库服务器安装产品：n开放数据库配置推荐：根据选择的数据仓库平台不同，硬件配置方式由数据库厂商确定。