采用云计算技术构建大型数据仓库平台的解析.pdf

《采用云计算技术构建大型数据仓库平台的解析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、specialfocus本期关注两化融合采用云计算技术构建大型数据仓库平台的解析桑子华，李杰平，姚跃/湖南长沙职业技术学院摘要：随着我国经济和科技的不断发展，电信运营商的数据平台构建还存在着很大的缺陷，传统的技术手段已经无法适应社会发展的新要求，数据的整合难度和分类标准也愈加严格。针对这样的现象，很多企业在大型数据仓库创建的过程中都坚持应用了新技术，计算机也实现了进一步的应用，但是很多弊端仍旧无法避免。对此，采用最新的云计算措施来构建大型数据仓库平台就成为了大势所趋。本文就结合企业目前构建大型数

2、据仓库平台的现状，简单分析一下其所面临的主要技术问题，进而结合云计算技术进行创新，提出行之有效的运用对策，发挥新技术的巨大优势，为我国大型数据仓库平台的云计算应用奠定坚实的基础。关键词：云计算技术；大型数据仓库平台；现状；优势；对策如今，社会科技日益发展，世界大市场逐步典型代表。现开放，企业想要掌握更多的数据，在竞争中SMP相对于MPP来说存在着很多不足，其扩展相对有立于不败之地，了解运营的基本情况，就一限，并且在扩展的过程中需要大量资金。而MPP系统则不会定要坚持数据仓库平台的创建和创新。原有

3、的数据平台在对资源进行共享，资源总数却相对来说多一些，在处理能力信息查询和处理的时候还存在很大的缺陷，无法对具体数上也比较突出。所以，在具体的应用过程中大多采用MPP系据进行准确分析，在很大程度上阻碍了企业的进一步发统，它的运行速度和效率都要快一些，在OLAP大数据分析展。与此同时，新技术在大型数据仓库平台上的应用也关上也具有更高的优势，更加有利于系统性能的充分发挥。乎着企业的整体水平，是衡量企业技术能力的重要指标。2.2云计算数据仓库。在上述文章中已经分析得出了因此，坚持采用云计算技术构建大型

4、数据仓库平台是企业MPP系统的优点，所以在技术应用中也要配合与之相适应和运营商所要走的必然道路。的技术路线，具体来说主要有两种。第一，软硬化一体化1大型数据仓库建设的现状路线。它其中主要有IBM一体机Netezza、Teradata一体机进入21世纪以来，市场经济逐步完善，企业之间的竞等设施，它具有很高的性能，能够优化硬件，但是研发费争日益加剧，电信运营商想要不被社会所淘汰，就一定要用也相对较高；第二，软件数据库管理系统产品。这其中全面掌握企业的生产状况，了解运营成本，对具体数据能主要有EMCG

5、reenplum、Hadoop以及IBMDB2系统下的够准确给予分析。数年前，数据分析系统还称之为经营分HIVE或者HBASE工具设备，它可以采用比较常见的硬件析系统的时候就被应用于电信运营商中，它主要是对企业产品来予以组建，没有具体的硬性要求。的业务情况进行综合分析，然后通过一系列的加工处理，2.3MPP云化数据仓库的基本系统。这种系统主要有再将其制作成数据报表形式。随着近年来经济的飞速发展三个层面共同构成，其建设方案也相对比较复杂。第一，以及分析数据的多元化，就使得企业所承载的业务功能更MP

6、P能力层。它的构成相对复杂，至少有多于2个的高性加复杂，传统的数据仓库建设已经无法满足精细业务的高能×86分布式集群主机构成，主要实施管理职能，能够实要求，如何实现数据的准确分析，将数据收集、加工、处现对数据节点的任务调度，并提供计算能力池和存储能力理等工作集合在一起已经成为了企业人员关注的焦点。池。另外，它还是多台×86存储服务器组成的数据节点集2大型数据仓库平台中云计算技术的引入群，网络通信平台由多台高性能局域网交换机共同构成；由于云计算技术的发展，给很多企业提供了数据准确第二，云计算数据库

7、管理层面。它不仅具有普遍使用的关分析的能力，在电信运营商内部的信息化建设中也相应的引系型数据库的管理功能，而且对外支持SQL标准语言，能入了新技术，满足了资源的池化要求，形成了私有云平台。够对底层数据进行分布式管理，承载调动功能，分担底层在此基础上，根据电信运营商对数据准确性和精细度的要节点设备的负载量；第三，应用层面。顾名思义，它是最求，引入×86分布式集群的MPP（大规模并行处理）架构，具有实用功能的层面，能够根据具体情况进行应用分析，能够很好的解决上述问题，保证企业的进一步发展。具备KPI

8、、多维分析、报表构成等多种基础功能2.1对比SMP与MPP架构。SMP是比较传统的架构2.4比对业务数据加载验证。POC（验证试验）是确模式，指的是在一台计算机上集聚了一组处理器和多个保云计算数据方案是否达到标准的主要测量手段，它能够CPU，且各CPU之间能够实现内存的共享。虽然其中具有准确分析出时间的消耗情况和运行处理的效率，并且在此多个CPU，但是它们仍然和一台计算机一样，每个处理器基础上与传统的方法进行比对，从而分析出结果，保证硬都可以对内存进行访问。在许多松耦合处理单元的共同组件配置的最