云计算环境下计算模型性能优化的研究

《云计算环境下计算模型性能优化的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要云计算给信息技术行业带来了一场新的革命。支撑云计算的关键技术包括虚拟化技术、分布式文件系统、并行计算技术和非关系型数据库技术等。Hadoop是一个集各种云计算技术于一体的综合开源云计算平台，主要由HDFS文件系统和MapReduce计算模型组成。Hadoop能够利用多台机器组成的集群对海量数据进行存储和计算，具有可扩展性、容错性和高效性等特点。其中HDFS文件系统和MapReduce编程模型的思想都来源于Google。目前Hadoop处于不断成熟的阶段。对于Hadoop系统的实现框架，许多科研人员对其进行了分析并提出了多种改进措施。除了架构外，Hadoop的配置对

2、于系统的性能来说也至关重要。本文主要研究提高Hadoop系统性能的配置优化方法。Hadoop通过配置来对整个系统进行管理。Hadoop的配置优化问题是一个复杂的组合优化问题。各属性问存在依赖和制约关系，设置不合理会导致资源竞争，系统的整体性能降低。智能算法能够解决组合优化问题。以智能算法为基础，首先提出适用于特定应用的配置优化策略。然后考虑云计算平台的实际使用情况，提出一种多应用环境下的系统配置优化模型。对于具体应用，基于遗传模拟退火算法，将每种配置方案作为染色体，多次选择、交叉、变异，并结合模拟退火原理，控制新染色体的存活和整个算法的迭代次数，寻找出最优的系统配置方

3、案。实验结果表明该方法能有效提高作业的运行效率，并且迭代结束时群体的整体效果都非常好。对于具体应用，基于混沌粒子群算法，将每种配置方案作为粒子的位置，通过粒子的不断运动来寻找最优配置。为使算法既能进行全局搜索和局部搜索，同时又能避免过早陷入局部最优，采用基本粒子群算法和权重系数改进、最大速度改进、混沌算法相结合的处理方法。实验结果表明该方法也能明显提高系统的效率，得出的最优配置具有稳定性，并且该方法实现简单，迭代次数少。对于实际运行的整个系统，需要处理各种类型的作业，因此考虑多种应用，提出一种自适应的系统配置优化方法。这种方法根据云计算平台的作业特点分两种情况进行处理

4、。当系统中的作业类型比较相似时，根据遗传模拟退火算法整体都朝最优解接近的特点，以遗传模拟退火算法为基础，提出即时优化的配置模型；当系统中的作业差别较大时，提出经验参照的模型，依据数据库查询进行系统配置，当数据中不存在该类型作业的配置信息时，考虑混沌粒子群算法简单快速的特点，基于混沌粒子群算法寻找系统的最优配置，并将新的配置记录添加到数据库中。关键词：云计算Hadoop性能优化遗传模拟退火算法混沌粒子群算法自适应配置模型IVABSTRACTCloudcomputinghasbroughtanewrevolutionintotheITindustry．Thekeytech

5、nologiesofcloudcomputingincludevirtualizationtechnology,distributedfilesystems，parallelcomputingtechnologies，NoSQLdatabasetechnology,andSOon．Hadoopisanopensourcecloudcomputingplatformsynthesizingavarietyofcloudcomputingtechnology,mainlyconsistsofHDFSfilesystemandMapReducecomputationmode

6、l．Hadoopcanstorageandprocessmassivedatabyclusterscomposingofmultiplecomputers，andhasthecharacteristicsofscalability,faulttoleranceandefficiency．TheideasofHDFSfilesystemandMapReduceprogrammingmodelcomefromGoogle．Hadoopisinaconstantlymaturestage．ToHadoopsystemframework,manyresearchershave

7、analyzedandproposedavarietyofimprovementmeasures．Inadditiontoarchitecture，HadoopconfigurationhasanimporteffectonthesystempapermainlystudiesthemethodofhowtoconfigureHadoopinordertoimprovetheperformanceoftheHadoopsystem．Hadoopmanagesthewholesystemthroughtheconfiguration．Hadoopcon