分布式业务集成部署平台的设计与实现

《分布式业务集成部署平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要近年来，随着应用的多样化发展和大数据时代的来临，学术界和工业界设计并实现了多种分布式业务系统作为编程框架来应对日益增多的数据类型和应用需求多样性挑战，例如适用于离线批处理场景的框架MapReduce、适用于流式计算场景的框架Storm、适用于内存迭代计算场景的框架Spark、适用于DAG计算场景的框架Tez、适用于图计算场景的框架Pregel等。在未来的发展中，新的计算框架有很大概率会持续性出现。无论是现有框架还是未来的框架，都将专注于特定应用场景，不会出现某个计算框架能适用于全部的应用场景，成为它们共

2、同的最佳选择。在生产环境中，分布式业务系统经常也离不开某些通用服务，例如Web服务器、数据库服务器等。为每个分布式业务系统提供专门的基础设施，单独设计部署存在扩展性差、利用率偏低等问题。针对以上这些问题，本文结合国内外现有的研究情况，分析当前部署支撑平台的架构和特点，设计并实现了分布式业务系统集成部署平台（DistributedbusinesssystemDeployPlatform，DDP），提供自动化部署分布式业务系统并高伸缩定制化运营的基础支撑服务。主要工作与创新点如下：1．实现集群复用，在一个集群整体上

3、运行各种计算框架等分布式业务系统，并根据异构性的业务资源请求，自适应最优匹配的承载节点。基于业务负载动态扩容和收缩。按需索取计算资源，当业务负载超过阈值高位值时，进行动态扩容，为业务模块的分配更多的资源，当业务负载小于低位值时，进行收缩，回收空闲资源。实时监控业务系统模块运行的情况，当发生故障时，能在其他部署节点上重启运行，保证了故障常态下的容错。2．优化了双层调度模型，多个调度器通过对集群状态的共享进行资源分配并优化了冲突概率。提高了系统的并发度。3．采用了开源容器承载业务系统的运行，提升了系统的隔离性和可扩

4、展性。通过功能测试，本系统对具备有效的监控和容错处理，能够对计算资源进行合理分配。关键词：容器、集群复用、业务部署、资源调度模型IABSTRACTABSTRACTWiththecomingofbigdataeraanddiversifieddevelopmentofapplication,academiccircleandindustrycircledesignedanddeliveredmultipledistributedbusinesssystemsasprogrammingframeworkinorde

5、rtoaddressthechallengeoftheincreasingdatatypeanddemandofapplication,suchasoff-linebatchprocessingframeworkMapReduce、streamcomputingframeworkStorm、memoryiterativecomputationframeworkSpark、DAGcomputationframeworkTez、schematacomputationframeworkPregel.Inthefore

6、seeablefuture,newcomputationframeworkprobablyappears.Everyframeworkfocusesonspecificapplicationscenario.It’sunlikelythatonecomputationframeworkcanbetheoptimaloptionforallapplicationscenarios.Distributedbusinesssystemisalwayscloselyconnectedwithgeneralservice

7、sinproductionenvironment，suchasWebserver、databaseserver.Therewillbesomeissues,likepoorscalability,lowutilizationrate,ifweofferdedicatedinfrastructureandindividualdesignforeachdistributedbusinesssystem.Tosolveaboveissues,weanalyzethestructureandcharacterizati

8、onofcurrentdeploymentsupportplatformanddesignDistributedbusinesssystemDeployPlatform(DDP)basedonexistingresearchstatus,offerdistributedbusinesssystemwithautomateddeploymentandbasicsupportservice