基于hadoop的移动用户综合业务分析与监控平台

《基于hadoop的移动用户综合业务分析与监控平台》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于Hadoop的移动用户综合业务分析与监控平台目录院系：软件学院专业：软件工程姓名：指导教师：完成日期：2017年8月30日II基于Hadoop的移动用户综合业务分析与监控平台目录目录摘要IVABSTRACTV第一章绪论61.1研究背景及意义61.2研究目的61.3国内外研究现状及对比分析71.4本论文主要工作91.5论文结构10第二章系统分析122.1必要性分析122.2现状分析122.3存在问题与解决措施132.4系统角色分析152.5功能性需求分析152.5.1数据采集子系统162.5.2数据入库子系统172.5.3数据存储子系统182.5.

2、4数据查询与分析子系统192.5.5系统管理子系统202.6非功能性需求分析212.6.1高性能212.6.2稳定性212.6.3扩展性212.6.4易用性212.6.5安全性212.7本章小结22第三章系统设计233.1设计目标与设计原则233.2系统框架设计243.3系统网络拓扑设计253.4系统数据库设计263.5系统功能结构及子系统设计27II基于Hadoop的移动用户综合业务分析与监控平台目录3.5.1数据采集子系统283.5.2数据入库子系统313.5.3数据存储子系统323.5.4数据查询与分析子系统363.6系统性能设计383.7系统

3、接口设计393.7.1系统内部接口393.7.2跨系统接口403.8系统安全设计413.8.1安全目标413.8.2网络安全设计423.8.3数据安全设计423.8.4应用安全设计433.9本章小结44第四章系统实现454.1系统开发环境454.2Hadoop集群的搭建454.2.1节点规划配置454.2.2安装配置OpenSSH454.2.3安装并运行Hadoop464.3基于Hadoop的分布式存储的实现474.3.1文件操作474.3.2目录操作494.3.3其他重要的操作504.4系统功能模块的实现514.4.1Gn分光采集实现514.4.2

4、数据汇聚分流设备功能实现524.4.3采集解析设备功能实现524.4.4本地FTP服务器设备功能实现524.4.5数据入库子系统功能实现534.4.6数据存储子系统功能实现534.4.7数据查询和分析子系统功能实现534.4.8用户管理、权限管理、角色管理等辅助功能实现57第五章系统测试60II基于Hadoop的移动用户综合业务分析与监控平台目录5.1测试目的605.2测试方法605.3测试流程605.4测试环境625.4.1硬件环境625.4.2软件环境625.5测试人员635.6系统接口测试645.7功能测试645.8性能测试675.8.1测试策

5、略675.8.2并发登录系统675.8.3并发查询话单数据675.8.4测试结果685.8.5测试结论685.9测试总结695.9.1系统应用界面展示图705.9.2本章小结75第六章系统应用实例766.1实例背景766.2平台应用实例766.3平台记录数据应用实例796.4对比分析826.5本章小结83第七章结论与展望847.1结论847.2展望84参考文献85致谢30II×××××应用系统实现ABSTRACT摘要伴随当代移动用户数量的不断增加，相关的数据需求也随之而提升，对应的争议以及投诉的数量也有一定的增加，运营商当前的计费体系在投诉解决的过程

6、中有着显著的滞后以及被动问题，这为各方主体都带来了明显的经济损失，显著影响企业的综合形象；并且当代的移动网络存在海量的数据，依靠针对此类数据的深入分析，能够协助相关运营商发掘具备更为丰富价值的行为，进一步为用户带来更为理想的实时服务，增强用户的综合感知，前述要求使得相关运营商迫切需要构建更为精准、稳定的分析和统计平台，进一步高效的分析和监控相关的网络活动。论文以当代用户的移动上网活动作为基础开展分析，综合电信产业的相关技术以及业务，依靠目前最新的大数据（BigData）技术，采用以Hadoop作为基础的分布式方案，同时引入相关的面向列的HBase数据

7、库，进一步建立关于各种网络活动的众多数据的基础平台，从而达成大量数据的有效检索以及分析操作。综合项目采用价格较为低廉的PC服务器以及配套的存储来达成较为理想的稳定性，相对于传统的IOE方案而言，整体投资幅度显著缩减，并且依靠平台的各方面功能，进一步达成针对网络记录的有效分析，一方面可以为用户带来更为完善的查询方式，同时也能够为企业创造优质的服务奠定良好的基础，对于综合服务素养提升，相关感知的完善等发挥着巨大的影响，从而令相关的运营商得以在新的运动环境中发挥自身应当具备的各项优势。关键词移动互联网；移动运营商；大数据；Hadoop；上网记录VI××××

8、×应用系统实现ABSTRACTABSTRACTWiththeincreasingnumberofmobile