基于云计算的bi系统混合架构研究

《基于云计算的bi系统混合架构研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于云计算的BI系统混合架构研究【摘要】随着中国移动用户数、业务的迅猛发展和市场竞争的加剧，bi系统要能具备实时和非实时、结构化和非结构化、低成本等特性。文章在分析了传统数据仓库技术在支持bi系统新特性上遇到的难题之后，提出了基于云计算的bi系统混合架构，对其中的云硬件架构与云软件架构中用到的关键技术作了研究。【关键词】bi　数据仓库　虚拟化　分布式计算　share—nothing　列存储引言中国移动从2002年开始着手建设bi系统(移动内部简称“经营分析系统”基于云计算的BI系统混合架构研究【摘要】随

2、着中国移动用户数、业务的迅猛发展和市场竞争的加剧，bi系统要能具备实时和非实时、结构化和非结构化、低成本等特性。文章在分析了传统数据仓库技术在支持bi系统新特性上遇到的难题之后，提出了基于云计算的bi系统混合架构，对其中的云硬件架构与云软件架构中用到的关键技术作了研究。【关键词】bi　数据仓库　虚拟化　分布式计算　share—nothing　列存储引言中国移动从2002年开始着手建设bi系统(移动内部简称“经营分析系统”基于云计算的BI系统混合架构研究【摘要】随着中国移动用户数、业务的迅猛发展和市场竞争

3、的加剧，bi系统要能具备实时和非实时、结构化和非结构化、低成本等特性。文章在分析了传统数据仓库技术在支持bi系统新特性上遇到的难题之后，提出了基于云计算的bi系统混合架构，对其中的云硬件架构与云软件架构中用到的关键技术作了研究。【关键词】bi　数据仓库　虚拟化　分布式计算　share—nothing　列存储引言中国移动从2002年开始着手建设bi系统(移动内部简称“经营分析系统”)，该系统是以客户为中心，面向企业内部各层面对象，将企业决策支持、市场经营分析和一线营销服务支撑作为服务目标，以数据仓库为基础

4、数据平台的智能支撑信息系统。从技术上讲，该系统涉及到数据仓库、联机分析处理、数据挖掘、人工智能和统计学等多种学科与技术的交叉。其中，数据仓库技术为bi系统核心技术。在bi系统十年的建设过程中，随着中国移动用户数、业务的迅猛发展和市场竞争的加剧，公司决策人员、市场经营分析人员和一线生产人员对bi系统需求越来越多，要求也越来越高。传统数据仓库技术在满足现在的bi系统架构设计、工程实施方面，遇到了一系列难题：(1)数据持续爆炸性增长，系统处理的数据量越来越大，架构设计上传统的隔夜批量处理已无法支撑，进而要求系

5、统支持准实时方式处理。如话单数据的处理，要求每15分钟甚至更短时间就必须处理一次；对于信令数据来说，处理周期要求更短；(2)随着业务的多样化，在支持传统结构化数据之外，要求能支持非结构化和半结构化数据，非结构化数据如视频数据、图像数据和文档数据等，半结构化如xml数据；(3)对于混合的数据负载和用户多变的访问方式，同一份表需要适应不同应用负载需要，如话单表除满足大数据量装载需求，还要满足后续的汇总处理以及业务人员的前台在线查询等需求；(4)成本增长太快，扩容压力加大。数据仓库采用小型机+磁盘阵列的方式，

6、构建在高端硬件平台上，高性能带来了高成本。同时未将数据处理功能和数据存储功能分散考虑，导致架构单一，扩容时需要综合考虑处理性能和磁盘容量并取最大值。这一系列难题所带来的问题，就是单一的数据仓库架构无法灵活满足各类需求。云计算架构体系作为一种新兴的共享基础架构方法，虽然各方表述不太一样，但从技术上讲，其本质都是通过将企业计算动态分布到集群计算机上，根据业务发展和应用使用情况对软硬件资源进行灵活的调配，以实现按需访问，对内对外提供各种应用服务。云计算其主要特性包括虚拟化和多租户、自动部署和统一管理、低成本海

7、量存储能力、大规模横向扩展，而这些特性正好能解决传统数据仓库技术所不能解决的问题。为适应市场对bi系统的新需求，本文旨在研究如何构建云计算环境下的新一代bi系统混合架构，从而更有效地为企业领导决策支持、市场经营分析和一线营销服务。2基于云计算的bi混合架构2.1bi混合架构针对以上变化，本文在传统bi系统数据仓库架构基础上，结合云计算新特性，综合虚拟化、分布式文件系统、soa等技术，提出了新的基于云计算环境下的bi昆合架构。其架构如图1所示：基于云计算的bi系统混合架构由云硬件架构、云软件架构、云应用架

8、构和云管理架构组成，每层结构分述如下：(1)云硬件架构，其重点为基础设施建设，使用虚拟化技术，将物理服务器、存储和网络组成虚拟集群，以供上层软件平台调用；(2)云软件架构，由数据中心、服务中心和访问中心组成；◆数据中心，作为整个系统架构的核心，根据企业内部应用的特点，进行统一数据建模。该中心存储了整个企业的全部数据，不仅包含基础数据，而且也包括经过不同应用深加工后的信息数据。数据中心可根据不同的应用计算方式，混合采用分布式文件系统、内存数据