hadoop企业级大数据平台-测试报告

《hadoop企业级大数据平台-测试报告》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop企业级大数据平台测试报告第21页目录1.测试目的32.测试环境32.1.硬件环境32.2.软件环境43.测试内容43.1.基本功能43.1.1.HDFS功能验证43.1.2.YARN功能验证63.1.3.扩容测试83.2.性能93.2.1.HDFS性能测试93.2.2.YARN性能测试123.3.高可用163.3.1.HDFS高可用测试163.3.2.YARN高可用测试183.3.3.Kerberos高可用测试21第21页1.测试目的通过功能、性能、高可用测试，验证Hadoop是否满足在大数

2、据基础架构平台对精细化营销和客流分析应用的需求。2.测试环境2.1.硬件环境硬件位置信息：硬件配置清单：序号设备名称设备数量设备用途说明操作系统设备类型设备配置备注CPU内存硬盘1分布式内存服务节点20部署分布式内存服务Redhat7.0X86机架服务器（华为RH5885V3）32C512GB6*600GBSAS部署docker、Rediscluster分布式内存数据库、SQLFire分布式内存数据库等服务2分布式协调及资源调度节点3实现分布式协调服务、资源调度服务Redhat6.5虚拟机16C40GB

3、80GB部署zookeeper、yarn等服务硬件配置表：第21页设备类型/型号单台配置数量X86机架式服务器（华为RH5885V3）单台4路八核E7-4820V22.0GHzCPU/512GB内存/6*600GBSAS硬盘/4*10GE光/4*GE电201.1.软件环境软件名称版本用途RedHatRedHatEnterpriseLinuxServerrelease7.0服务器操作系统RedisRedis3.0分布式内存数据库2.测试内容2.1.基本功能2.1.1.HDFS功能验证用例名称创建目录/查询

4、/删除/下载/上传测试目的创建目录/查询/删除/下载/上传预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果1.执行kinittest输入密码，完成用户认证。2.创建文件夹，执行语句：hdfsdfs-mkdir/tmp/mydir第21页1.查看文件夹，执行语句：hdfsdfs-ls/tmp2.删除文件夹，执行语句：hdfsdfs-rm-r/tmp/mydir3.查看文件夹，执行语句：hdfsdfs-ls/tmp4.上传本地文件(指定本地存在的文件)，执行语句：hdfsdfs-put/

5、tmp/testAccess.txt/tmp/，再执行查看指令检查文件是否存在hdfsdfs-ls/tmp5.下载文件到本地，执行语句：hdfsdfs-get/tmp/testAccess.txt/opt/6.删除文件，执行语句：hdfsdfs-rm/tmp/testAccess.txt，再执行查看指令检查文件是否存在hdfsdfs-ls/tmp测试结果通过1、部分操作需要超级用户hdfs完成。2、mkdir,ls,rm,put,get等操作均可执行成功。备注1.建议:Kerberos‘sexpiret

6、imeisbiggerthentherenewtime.需修改Kerberos配置完成。expiretime<=renewtime如不修改，可能在任务执行周期过长（expiretime）时导致认证失败，任务执行不成功。第21页测试截图：1.1.1.YARN功能验证用例名称提交/删除/查询Yarn任务测试目的验证支持提交/删除/查询Yarn任务第21页预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果1.执行kinittest输入密码，完成用户认证2.执行hadoop自带的测试程序Tes

7、tDFSIO，提交一个MR任务hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jarTestDFSIO-write-nrFilesN-fileSizeSize其中N指文件个数，Size指文件大小3.等待任务运行结束，显示执行结果4.使用TestDFSIO重新提交一个MR任务。5.使用yarnapplication-list查看正在运行的TestDFSIO任务的Applica

8、tionID。6.使用yarnapplication–kill命令，kill正在运行的任务。1、各个操作验证成功。测试结果通过任务执行成功任务停止成功备注第21页测试截图：1.1.1.扩容测试用例名称扩容测试测试目的测试扩容功能预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果1.打开集群管理页面http://host:8080/，输入用户名密码（默认admin/admin）2.点击Hosts