基于hadoop平台电信养卡研究与的分析

《基于hadoop平台电信养卡研究与的分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、TelecommunicationsSaveCardResearchandAnalysisbasedonHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByLvZhichaoSupervisor:Prof.ZhangLiyunMarch2016万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地

2、方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生签名：_____________日期：____________南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段

3、保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________万方数据摘要随着电信行业代理商的不断增多，代理商在市场中出现违规操作的现象也越来越普遍。其中最主要的违规行为是建立“猫池”设备进行养卡，通过养卡来套取电信运营商的代理酬金。为了打击代理商的这种行为，电信运营商借助传统的数据库技术分析每月新发展的用户是否为养卡用户，然而，这需要花费大量的人力物力，且正

4、确率最高只有85%。为了更加高效的区分电信运营商的养卡用户，本文运用了数据挖掘技术以及Hadoop平台。本文以作者在江苏某运营商实习期间获得的真实数据为背景，对电信运营商区分养卡用户进行了研究和分析。本文将数据挖掘常用的BP神经网络算法和K_Means算法应用到养卡分析中，根据K_Means算法的仿真结果分析原始数据中较强的影响因子，找出其对应的数据属性，并通过属性增强的方法修改原始数据，该方法可以改善K_Means算法的聚类效果，有效提高养卡分析的正确率。随后，基于Canopy算法对K_Means算法的养卡聚类分析进行了改进，将Canopy算法

5、得到的两个距离最大的Canopy作为K_Means算法的初始聚类中心，提高了聚类效率。最后，将基于Hadoop平台的电信养卡分析集成到Web平台上，该平台包括类型转换、算法调用、任务监控、结果查询等功能，提高了整个养卡分析过程的效率。结果表明，本文提出的基于Hadoop的养卡分析方法有效提高了判决正确率、降低了时间开销，相比于电信运营商的传统数据库分析，正确率提高了6.32%；相比于传统单机运行K_Means算法的养卡聚类分析，四个结点的Hadoop平台时间开销降低了64.22%。本文的研究可以为电信运营商的养卡分析提供理论支持，同时也为其他行业

6、中的欺诈行为分析提供了新思路。关键词:电信运营商，养卡，K_Means，Canopy，HadoopI万方数据AbstractAsthetelecomindustryagentsgrowing,phenomenonofillegaloperationsagentsappearinginthemarkethasbecomeincreasingly.Whereinthemainagentofirregularities,theestablishmentof"catpool"equipmentssupportcardtotaketelecomoperat

7、orsagentremuneration.Tocombatsuchactsofagents,telecomoperatorsanalyzethedevelopmentofnewuserspermonthwhethersupportcardusers,however,thisusuallytakesalotofmanpowerandresources,andhighestaccuracyrateisonly85%byconventionaldatabases.Inordertodistinguishsupportcardusersmoreeffic

8、ient,thispaperusesdataminingtechniquesandHadoopplatform.Inthispaper,