hadoop性能测试自动化研究

《hadoop性能测试自动化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Hadoop性能测试自动化研究　　摘要：目前，越来越多的行业认识到大数据会带来新一轮的革命，而ApacheHadoop项目则是目前大数据平台应用的事实标准。各行业在建设大数据平台时，除功能外，性能指标也是考虑的重要因素。目前大数据平台性能评测工具多样，测试过程耗时、繁琐。鉴于此，讨论建设基于BigDataBench的Hadoop2.5大数据平台性能测试自动化系统，既提高工作效率，又减少人为操作差异化化，实现版本间性能数据自动对比，保证了测试质量和数据准确性。同时对自动化测试工具的演进方向进行了规划。　　关键词：Had

2、oop；大数据平台；自动化测试；性能测试　　DOIDOI：10.11907/rjdk.162030　　中图分类号：TP302　　文献标识码：A文章编号：1672-7800（2016）012-0016-3　　0引言　　信息爆炸时代带来了信息数量的级数级增长，各行业也越来越认识到对大数据的掌控和分析能力会是未来竞争力的核心。行业决策也超越了以前依靠抽样调查的阶段，转而依靠大数据进行全面分析支持。　　ApacheHadoop是对Google的GFS（GoogleFileSystem）BigTable的一个开源实现，具有高扩

3、展性、高效性、高容错性、低成本以及易于虚拟化等特性，是目前行业事实的应用标准[1]。ApacheHadoop大数据生态圈核心包括HDFS、Zookeeper、Yarn、Hbase、Hive、Impala等应用。7　　除功能外大数据平台性能处理能力是评测大数据平台的重要指标之一。目前，大数据平台性能测试存在的问题主要有：开源版本更换较快，需要频繁更换版本；测试条目较多，场景比较复杂、繁琐，手工操作容易出错或不准确；整个测试过程持续时间长。本文基于BigDataBench工具和ApacheHadoop2.5进行大数据平台

4、性能测试自动化研究，尝试解决上述问题。　　1大数据平台性能测试内容　　经典的大数据平台组件性能测试项主要包括HDFS的读写、Mapreduce的执行情况、NoSQL的数据库能力等[2]，如表1所示。　　以上测试项覆盖了I/O测试、I/O密集型、计算密集型及混合类型测试条目，涉及文本、图和表等输入数据。　　2大数据平台性能测试工具　　在性能测试中，测试工具支持必不可少，目前除ApacheHadoop自带工具外，还有企业或组织发布了第三方测试工具。一般测试工具包括测试数据生成、负载运行和报告生成三大功能。　　2.1Apa

5、cheHadoop自带工具　　ApacheHadoop自带工具主要包括TestDFSIO、Sort和PE（PerformanceEvaluation），工具简单、易用。TestDFSIO主要用于HDFS基准性能测试，Sort工具用于Mapreduce负载，PerformanceEvaluation工具主要用于Hbase性能测试。　　通过运行hadoopjarhadoop-test.jar即可查看所支持的测试项。　　通过运行hbaseorg.apache.hadoop.hbase.PerformanceEvaluati

6、on7即可查看PE工具支持的测试项。　　2.2HiBench　　HiBench是Intel发布的一个大数据性能测试套件，包括HDFS、Mapreduce、SQL、网页搜索以及机器学习等性能测试。支持的测试条目比较全面。　　比如最常用的WordCount测试，通过以下命令即可完成测试：　　#cd./HiBench/wordcount　　#./conf/configure.sh　　#./bin/prepare.sh　　#./bin/run.sh　　2.3YCSB　　YCSB（YahooCloudServingBenchm

7、ark）是YAHOO发布的一款开源通用性能测试工具，适用于Hbase等NoSQL组件。　　YCSB在命令行中直接可以设置线程数、读写比例等，可以提供较为详细的测试结果。　　2.4BigDataBench　　BigDataBench[3]是由中科院计算所研发的一款开源性能测试套件，是国内大数据组织大数据联盟（www.dca.org.cn）推荐的大数据性能测试工具。大数据联盟（DCA，DataCenterAlliance）同时配套发布的还有大数据性能测试基准要求及方法[3]。　　BigDataBench整合多种测试工具的

8、优点，几乎覆盖所有组件，可以准备文本、图像、数据库等多种数据，实现端到端的性能测试[4]。7　　由于大数据联盟的权威性，几乎国内全部大数据厂商都遵循大数据联盟的测试工具及测试要求，并参加了大数据联盟组织的测试。本性能测试自动化系统也主要是基于BigDataBench工具。　　3大数据平台性能测试自动化实现　　大数据平台性能测试自动化系统主要实现