大数据基础平台建设运营探讨.pdf

《大数据基础平台建设运营探讨.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、专题：大数据技术与应用大数据基础平台建设运营探讨陈泳’。高昂(1．中国电信股份有限公司广东研究院广州510630；2．中国电信股份有限公司广东分公司广州510081)摘要：大数据从新兴技术走向规模化生产运营，承载大数据业务的基础平台建设与运营是其成功应用的一个关键因素。从服务器、存储架构选型与规划，基础平台运营等方面，分析总结了如何构建大数据基础平台，提出了企业中规模化运营大数据应用的思路与方法。关键词：大数据；基础设施：运营doi：10．39696．issn．1000-0801．2014．10．006Analysiso

2、fBigDataPlatformImplementationandOperationChenYong，GaoAn(1．GuangdongResearchInstituteofChinaTelecomCo．，Ltd．，Guangzhou510630，China；2．GuangdongBranchofChinaTelecomCo．，Ltd．，Guangzhou510081，China)Abstract：Bigdataistransitingfromemergingtechnologytolarge-scaleproducti

3、onoperations．Theimplementationandoperationofsharedinfrastructureplatformbecomeskeyfactorsforsuccessfullydeployingbigdata．Analysiswasmadeforinfrastructureplanning，integrationandoperation．Methodologywasgivenforimplementingabettersharedplatformforlargescalebigdataap

4、plication．Keywords：bigdata，infrastructure，operation目前国内企业的大数据应用大部分仍处于规模化部1引言署运营初期，基础平台的建设运营包括硬件架构设计、软大数据技术自2012年爆发式宣传和进入企业应用以件平台规划、资源的共享与各类接口的规范制定，直接关来。目前已在互联网和企业中广泛应用。著名IT咨询公司系到大数据应用能否超越传统的数据仓库方案，低成本实Gartner在新发布的2014年IrI’技术成熟度曲线报告【1]中指现海量数据处理和挖掘数据价值，从而成功上线应用。本出，

5、大数据从之前的炒作高峰已转向低潮期，应用领域已文对大数据的基础平台建设运营进行探讨与案例分析，旨有多种较成熟和合理的解决方案，业务需求仍然很高，但在为规模化部署运营大数据应用提供参考。已从引入和管理大数据，转l为规模化、常态化地利用大数2大数据技术架构特点与当前企业瓶颈据进行更好的业务运营。参考文献f21概述了运营商企业的大数据发展策略，平大数据广为接受的4V(volume、velocity、value和variety，台建设是5个策略之一．大数据在基础设施层面须共享和分别代表海量、快速、价值密度低和多变)特点和新兴技术

6、发挥规模集群优势。以大数据中心的形式进行集约化建设的生态状况带来了大数据应用与传统IT应用的如下3个与运营差别和特点。专越：失数糍技术与应霸·分布式架构：利用廉价软硬件分布式集群，解决海本文总结了中国电信股份有限公司部分省公司的成量数据的存储和处理，实现高度的弹性可扩展和冗功经验，结合当前技术趋势，给出大数据基础平台规模化余可靠性，单节点故障是预期的常态现象。建设运营的思路与方法论。·基础平台生态：Apache开源软件基金下的Hadoop3基础平台建设与运营思路平台框架成为大数据的事实技术标准，围绕周边的还有基于Hado

7、op平台的延伸软件产品方案、开放基础平台目的在于提供集约管理和池化运营的基础的x86服务器平台和存储／网络方案，开放的软硬件能力，实现软硬件资源的共享和快速提供．为大数据应用平台带来众多产品供应商，如广泛使用的Hadoop提供高效和灵活的基础平台。根据当前主流的大数据技术发行版本CDI4、众多的x86服务器厂商等。架构，基础平台可划分如下5个功能层面，为各类大数据·平台化建设运营：大数据应用都是建立在硬件资源应用提供共享的基础服务。管理层、分布式文件系统、数据处理层等有机组合·资源管理层：承载各类负载的硬件平台及资源的动

8、的平台框架之上的，有很强的通用性和互操作能态分配，包括服务器、存储、网络、资源调度。力，但平台版本和新的软件方案发展很快．对规划·数据存储层：提供海量数据的分布式存储，大数据运营带来较大影响应用主要是使用Hadoop框架中的HDFS。上述特点，说明基础平台包括硬件架构、软件平台的·数据处理层：提供大数据并行计算基础服