广州电信创新平台云计算技术方案建议书_20110728_切勿传播

《广州电信创新平台云计算技术方案建议书_20110728_切勿传播》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、技术方案建议书技术方案建议书39/39南京云创存储科技有限公司2012-7-17技术方案建议书目录1云计算系统设计方案概述41.1系统基本功能41.2主要设计思想和设计目标、设计原则41.3中国电信创新平台的云计算解决方案51.4系统的主要技术特点52系统总体构架62.1系统基本组成与构架62.2系统功能模块73系统基本功能与处理方案83.1CDR、PSMM、DT数据入库处理功能与方案83.1.1基于FTP加速引擎的数据高速稳定下载优化方案——更好的下载方式83.1.2数据入库模块93.1.3基于全局样本抽样的压缩优化方案——更好的

2、压缩方式103.2索引生成与数据存储方案113.2.1数据立方(DataCube)——更好的索引生成方式113.2.2阶梯式数据存储系统——更好的存储方式133.3单用户数据查询功能与方案143.3.1cProc并行计算架构——实时性更强的计算架构143.3.2单用户单表多字段查询153.4数据查询统计功能与方案173.4.1MapReduce的架构173.4.2多表连接功能与方案204Avatar系统——更好的计算与存储集群可靠性234.1计算与存储集群Master单点失效容错处理234.2计算与存储集群的负载均衡处理315Map

3、Reduce计算架构可靠性设计336系统扩展性356.1已有的Hadoop集群规模356.2集群扩展方法357设备配置367.1建议硬件配置3639/39南京云创存储科技有限公司2012-7-17技术方案建议书7.2软件配置368系统设计性能378.1数据入库能力378.2数据存储能力378.3查询分析计算性能389系统接口389.1四种功能接口389.2不同用户的使用范围399.3输入数据格式39图表1电信创新平台数据存储与处理总体技术架构6图表2数据下载解决方案8图表3样本抽样的压缩优化方案10图表4系统负载监控的压缩优化方案1

4、1图表5数据文件中的记录压缩11图表6数据立方(DataCube)与基于B+数的索引12图表7基于B+树的字段索引13图表8阶梯式数据存储系统14图表9cProc并行计算架构15图表10cProc计算架构下单表多字段查询过程17图表11分布式计算流程19图表12Hadoop的基本结构20图表13Join的流程图23图表14Master单点失效容错处理24图表15AvatarNode0以Pimary启动过程26图表16AvatarNode1以Standby启动过程27图表17DataNode启动过程27图表18AvatarNode0宕

5、机后的状态28图表19AvatarNode1切换为Primary过程28图表20AvatarNode0重启过程29图表21AvatarNode启动切换流程图30图表22作业提交34图表23JobTracker0宕机34图表24作业注销35图表25全网设备汇总表36图表26软件配置列表36图表27分布式文件存储系统吞吐量37图表28CDR查询统计性能测试表38图表29查询接口图3839/39南京云创存储科技有限公司2012-7-17技术方案建议书云计算系统设计方案概述1.1系统基本功能本方案的建设思路是，既要紧密结合实际网络情况，提供

6、一套适合电信集团的数据处理系统，又能适应今后发展的创新的数据共享平台。系统的基本功能和性能如下：1)海量CDR、PSMM、DT存储和计算能够存储PB级别的数据，并完成各种复杂业务应用计算。2)PB级数据秒级查询能力高效索引算法，智能化调度任务系统，满足秒级查询速度。3)海量数据统计功能高效的全局数据统计算法提供较短时间内的数据查询统计能力。1.2主要设计思想和设计目标、设计原则（1）设计思想：将海量数据分解到由大量X86架构计算机构成的低成本计算平台上进行实时处理，依靠分布式云计算软件进行容错，从而提升海量数据分析的实时性和性价比。

7、（2）设计目标：利用中国电信计算资源池中的X86架构计算机，建立云计算平台，提供CDR、PSMM、DT实时查询和统计分析等多种业务支持。创新平台系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。（3）设计原则：前瞻性技术与实际应用环境相结合。本项目是既是先进技术应用创新示范项目，又是工程实施型项目。把握技术正确性和先进性是前提，但是前瞻性技术实施必须在资源池的实际应用环境的基础上进行，必须结合资源池平台的实际情况进行研究和开发，只有与实际应用环境相结合才有实际应用价值。学习借鉴国外先进技

8、术与自主创新相结合。39/39南京云创存储科技有限公司2012-7-17技术方案建议书在基于资源池的云计算平台用于超大规模数据处理方面，国内外几乎是在一个起跑线上；但在关键技术研究及既往的技术积累方面，国外一些大公司有着明显的优势。我