大数据集成整体解决方案设计

《大数据集成整体解决方案设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准文案数据集成整体解决方案继系统集成、应用集成、业务集成之后，最头痛的数据集成（DataIntegration）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，只是忽然一夜春风来，各厂商相继推出DI新概念后，我们不得不再次接受新一轮的DI洗脑，首推的有SASDI、BusinessObjectsDI、InformaticaDI、OracleDI

2、（ODI）等厂商。数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（MasterDataManager）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（DataWarehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（DataCenter）系统来集中交换、分发、调度、

3、管理企业基础数据。数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要实现企业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种是机构之间数据集成架构。单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基

4、础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。精彩文档实用标准文案企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。如金

5、融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有独立的数据交换存储池、数据接口与数据类型繁多等特点。对于企业管理性、决策性较强的信息系统如主数据管理系统、财务会计管理系统、数据仓库系统等数据可直接来源于数据中心，摆脱了没有企业数据中心前的一对多交叉的困扰，避免了业务系统对应多种管理系统时需要数据重复传送，如CRM系统中新增一条客户信息数据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分

6、发即可。精彩文档实用标准文案机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。如中国银联与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。尤其这类架构颇具一些特

7、点值得进一步去剖析。因数据集成平台是架于多企业、单位之间，数据的安全性、独立性决定了各企业、单位不得不考虑前置机的部署形式，各企业、单位在业务系统与数据集成平台之间增加一台前置机，则更有利于自有系统数据的独立与安全，也更利于数据平台对数据的获取、分发、交换的统一要求。另外，数据集成平台也要具有更多的技术功能来满足众多单位的众多数据接口、多种数据类型、不一致的数据标准、数据交换的实时性、对数据的抽取与推送（PullANDPush）等业务需求。如数据集成平台需具有数据连通、ETL、数据实时、数据清洗、数据质量、EBS（Enterpr

8、iseServiceBus）、SOA（Service-OrientedArchitecture）等一些技术与特点。精彩文档实用标准文案以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业内部众多系统之间数据交换的多对多架构，一种是为多个跨