浙江移动大数据平台测试方案v1.0

《浙江移动大数据平台测试方案v1.0》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、8327ab6f5196548f7aab65ea0d564219.docx中国移动浙江公司大数据平台测试方案8327ab6f5196548f7aab65ea0d564219.docx文档修订摘要日期修订号描述著者审阅者批准人/日期2014-01-20V1.0文档创建，编写初版汤人杰任赣8327ab6f5196548f7aab65ea0d564219.docx目录第1章概述31.1测试目标31.2测试内容3第2章测试环境42.1硬件环境42.2网络环境52.3部署架构52.4测试监控6第3章测试用例选取7

2、3.1总体约束条件73.2案例选取原则83.3测试数据模型83.3.1文件列表83.3.2数据库表结构23第4章测试用例设计454.1数据加载454.2DPI业务流程测试场景464.3复杂查询性能484.4数据导出514.5应用功能测试534.5.1路径分析534.5.2交往圈分析584.5.3最短路径分析654.6非结构化数据处理664.6.1分词统计（投诉文本）664.7传统挖掘算法功能验证694.7.1决策树功能694.7.2Logistic回归功能7082/848327ab6f5196548f7

3、aab65ea0d564219.docx4.7.3Kmeans聚类功能714.8负载管理测试734.9互联互通测试754.9.1直接访问oracle数据754.9.2直接访问DB2数据764.9.3直接访问Hadoop数据774.10高可用性测试784.10.1主节点故障情况下高可用性测试784.10.2数据节点故障情况下高可用性测试8082/848327ab6f5196548f7aab65ea0d564219.docx第1章概述1.1测试目标测试不同厂商大数据平台产品的优劣势，获取其对移动大数据分析各

4、种处理流程的支持能力及各流程的处理性能参考值，验证各产品是否满足支持大数据平台建设的要求。n验证产品功能是否满足系统建设要求；n检验产品在x86架构机器上的性能体现；n检验产品的可靠性、可用性；n测试产品的应用开发支持能力.1.2测试内容基于中国移动浙江公司经营分析系统对大数据平台产品的能力要求，提取经分生产环境业务场景和数据（已做脱敏处理），重点测试候选产品的以下功能和性能要点：²数据加载：MPP数据库的数据加载性能；²DPI业务流程测试：完整的DPI业务场景，覆盖ods、dwd、dw、st等业务模型

5、层，考察MPP数据库对于DPI业务加载、汇总、关联的性能；²复杂查询性能：测试MPP数据库对于大表关联的复杂查询性能；²数据导出：MPP数据库的数据导出性能；²应用功能测试：路径分析、交往圈分析，最短路径分析；²非结构化数据处理：文本分词统计；²传统挖掘算法功能验证：验证MPP数据库是否具备传统挖掘算法，如聚类、逻辑回归、决策树等；²负载管理测试：用户优先级和资源管理；82/848327ab6f5196548f7aab65ea0d564219.docx²互联互通测试：验证MPP数据库是否可以直接访问Or

6、acle、DB2和Hadoop平台数据，并进行跨平台关联；²高可用性测试：主节点高可用性、数据节点高可用性、数据节点恢复速度和扩展性；针对上述测试项目，选取当前经分系统真实业务场景进行测试用例设计，验证MPP数据库的支撑能力。第1章测试环境1.1硬件环境设备域功能和配置信息数量主节点（主/备）系统管理、任务解析、任务调度等2数据节点存放数据库数据，执行数据库任务6测试配置管理终端普通PC，用作客户端，登录MPP数据库，执行测试操作文件服务器存放原始的测试数据，供各产品测试时使用利用现有测试环境传统数据库

7、使用现有测试环境，在互联互通测试时使用利用现有测试环境备注：对于不区分中心节点与计算节点的参测产品，仅使用6台服务器参与本次测试。硬件配置：设备型号HPBL460处理器两个2.4GHz的6核CPU内存64GB硬盘2*300GBHDD+6*600GBSAS硬盘网卡1个千兆电口（对外），1个万兆光口（对内）82/848327ab6f5196548f7aab65ea0d564219.docx操作系统suselinux11sp21.1网络环境所有设备搭建在一个局域网内，所有主机内部采用万兆网卡和万兆交换机互相连

8、接，所有主机同时通过千兆网卡与千兆交换机连接，对外提供服务。用于测试的8台刀片服务器IP地址为：20.26.5.4~20.26.5.111.2部署架构设备功能说明主节点（主/备）2台X86服务器，一主一备，用于所有测试过程，负责SQL解析、生成执行计划、任务调度、以及全局性操作等数据节点6台X86服务器，参与实际的负载工作，用于数据加载导出、DPI业务流程测试、性能测试、应用功能测试、非结构化数据处理、82/848327ab6f519654