基于Hadoop的电信大数据分析的设计与实现

《基于Hadoop的电信大数据分析的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目：基于Hadoop的电信大数据分析的设计与实现专业：通信与信息系统硕士生：曹茜茜(签名)指导教师：冀汶莉(签名)摘要2010国内移动互联网进入快速发展阶段，但随着互联网公司介入及基于应用商店模式的终端厂商的快速加入，电信运营商出现数据业务收入增速放缓的困境，面临被管道化的威胁。同时随着移动互联网应用的普及化，电信运营商存储的数据规模从GB级迈向TB级甚至PB级。在商业竞争中，通过数据分析辅助经营已成为有效的手段，但传统的数据分析架构已经不能适应这种海量数据处理和快速、深度挖掘的需求。Hadoop这种大数据处理框架为解决上述问题提供了一种新

2、的思路。在此背景下本系统的设计与实现作为陕西电信大数据平台建设项目的预研。课题通过构建处理电信数据的Hadoop平台系统，探索通过Hadoop平台的离线技术实现对每日百亿级数据的清洗、分析和挖掘的可行性；建立仿真的BI前端系统通过上述处理的数据进行套餐的分析，优化流量套餐设计；实现从访问、搜索、通话时长、短信使用量等行为构建了用户分析体系，多维度定位用户兴趣偏好并形成客户画像；为电信服务部门建立决策系统。本文首先分析了Hadoop框架结构以及所用到的HDFS和MapReduce技术，然后对Hadoop平台上数据的采集，数据的存储进行阐述；重点分析

3、了利用MapReduce技术进行并行计算的方法；将处理之后的数据存放在HDFS文件系统当中，并通过Sqoop组件将处理完的数据转存到关系型数据库中。本系统的前端BI设计采用J2EE的开发框架，并进行了详细的设计，在后台数据处理的基础上完成了流量监控功能、运营支撑功能、客户画像功能、决策支持功能，在决策支持功能的实现中采用了聚类算法。在实验室环境下进行开发环境的搭建配置，并分别进行大数据集的数据传输和Hadoop下的离线数据处理以及前端BI的展现的测试。系统运行正常有效，该预研表明基于Hadoop平台能够满足电信数据预处理和数据存储、数据分析的需求

4、。关键词：大数据；Hadoop；电信流量数据研究类型：应用研究型万方数据万方数据Subject:DesignandImplementationofTelecomDataAnalysisBasedonHadoopSpecialty:CommunicationandInformationSystemName:CaoXixi(signature)Instructor:JiWenli(signature)ABSTRACTThedomesticmobileInternethasenteredastageofrapiddevelopmentin2010.Bu

5、twiththeInternetcompanybasedinterventionandterminalmanufacturerstoquicklyjointheapplicationstoremodel,telecomoperatorsappearplightdatarevenueslowdown,thethreatispipelined.Atthesametime,alongwiththepopularityofmobileInternetapplications,telecomoperatorsdatasizefromGBtoTBorPB.I

6、nthecommercialcompetition,runbytheauxiliarydataanalysishasbecomeaneffectivetool,butthetraditionaldataanalysisinfrastructurecannotmeetthedemandforsuchmassivedataprocessingandrapid,deepmining.ThisHadoopdataprocessingframeworkforsolvingtheaboveproblemsandprovidesanewwayofthinkin

7、g.DesignandimplementationofthissystemasaplatformforbuildinglargedataShaanxiTelecompre-researchprojectinthiscontext.ConstructionofHadoopsystembasedonexploration,feasibilityanalysisandminingonthedailycleaning,tenbilliondatathroughofflineHadoopplatform;BuildBIsystemanalysissimul

8、ationpackagesbytheaboveprocessdatatrafficpackagesoptimizeddesign;Ach