基于hadoop的电信运营商海量数据处理方法的研究与应用

《基于hadoop的电信运营商海量数据处理方法的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码：10293密级：公开专业学位硕士论文论文题目：基于Hadoop的电信运营商海量数据处理方法的研究与应用学号1211012218姓名王翔导师沈建华副教授专业学位类别工程硕士类申请型全日制专业申请（领域）电子与通信工程论文提交日期2014.3万方数据ResearchonHadoopBasedTelecomOperatorsMassiveDataProcessingTechonologyanditsApplicationsThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegree

2、ofMasterofEngineeringByWangXiangSupervisor:Asso.Prof.ShenJianhuaMarch2014万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生签名：_

3、____________日期：____________南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________万方数据摘要随着移动互联网的迅速发展和业务种类的不断

4、丰富，用户在使用电信业务的过程中产生的数据成倍地增长。海量数据的出现及数据结构的改变，给电信运营商管理、分析和处理数据带来了巨大的挑战。传统的数据仓库已经无法有效地存储和处理日益增长和新型的业务数据，而基于Hadoop分布式技术的发展为解决上述问题提供了有效的技术手段。论文针对基于Hadoop的电信行业海量数据分析的方法，采用理论分析和实验进行了全面的研究。论文首先对基于Hadoop的方法进行了全面的阐述，讨论并分析了Hadoop体系架构中包括HDFS、MapReduce和Hive等关键技术。其次，论文对传统电信运营商海量数据处理方法进行了分析，在对其缺点进行分析基础上阐

5、述了基于Hadoop的改进海量数据处理方法。论文理论分析了基于Hadoop的海量数据处理模型及优化策略，并搭建了实验环境进行了验证和对比，实验结果表明基于Hadoop的方法可以有效提高海量数据处理的效率，降低运营成本。关键词:海量数据分析，电信行业应用，Hadoop，数据仓库I万方数据AbstractWiththerapiddevelopmentofMobileInternetandenrichmentofvariousnewservices,user-generateddatainprocessingtelecomservicehasbeengrowingdramati

6、cally.Massivedataanddatastructurechangingsbringanenormouschallengetothetelecomoperatorsinprocessing,analyzingandmanagingdata.Traditionaldatawarehousetechniquecannotefficientlystoreandprocesstheevergrowingandnewtypesofservicedata.Hadoopdistributedtechnologyprovidesapromisingmethodtosolveth

7、eseproblems,whichhasbeenstudiedinthisthesiswiththeoreaticalanalysisandexperimentalmethods.Firstly,thisthesisgivesacomprehensiveintroductionofHadoopbasedtechnology,alongwiththediscussionandanalysisofsomeHadoopkeytechniquesincludingHDFS,MapReduceandHive,etc.Thensometr