支持通信数据查询分析的分布式计算系统

《支持通信数据查询分析的分布式计算系统》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5期华东师范大学学报(自然科学版)NO．52014年9月JournalofEastChinaNormalUniversity(NaturalScience)Sept．2014文章编号：1000—5641(2014)05—0089—14支持通信数据查询分析的分布式计算系统晁平复1，郑芷凌1，房俊华1，张蓉1’2'(1．华东师范大学软件学院，上海200062；2．华东师范大学数据科学与工程学院，上海200062)摘要：本文详细介绍一种基于分布式内存的通信数据管理平台，可以有效支持针对通信数据的实时处理以及在线查询分析任务．首先，通过对分布式

2、技术、内存技术进行分析，依据通信业务的特点进行技术选型；然后，基于高性能的分布式内存计算环境，设计、实现针对通信数据的实时处理与在线查询分析平台；最后，利用内存技术对平台实现方案进行技术优化．实验结果表明，基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升．关键词：通信数据管理；分布式系统；内存计算；实时数据处理中图分类号：TP301．4文献标识码：ADOI：10．3969／j。issn。1000—5641。2014。05．008Distributedcomputings

3、ystemforcommunicationdatamanagementCHAOPing—ful。ZHENGZhi—lin91，FANGJun—hual，ZHANGRun91’2(1．SoftwaFeEngineeringInstitute，EastChinaNormalUniversity，Shanghai200062，China；2．InstituteforDataScienceandEngineering，EaStChinaNormalUniversity，Shanghai200062·China)Abstract：Inthisart

4、icle，acommunicationdatamanagementplatformbasedonanopensourcedresourceonclusteredsystemwhichhastherequirementforin-memorydatacomputingisintro—duced，inordertosupportrealtimeprocessingaswellasonlinequeriesunderthemassivedatavolumeefficiently．Inparticular，wefirstlygiveabriefa

5、nalysisonpopulardistributedandin—memorytechniques，providecandidatetechniquesandtestforchoosingtheapproprateonesforourtask．‘Fhen，wedesignandimplementanonlinecommunicationdataprocessingandqueryplatform．Finally，weusein-memorytechniquestooptimizeourplatformperformance．Theex—p

6、erimentalresultsindicatethatthein—memorydistributedcomputingsystemnotonlyoutper—formsthedisk-basedsysteminbothqueryresponsetimeandreal—timeprocessingspeed·butalsoimprovesonresourceutilizationanddatathroughput．Keywords：communicationdatamanagement；distributedsystemtin—memor

7、ycomputation；real—timedataprocessing收稿日期：201406基金项目：国家自然科学基金(61103039)l国家自然科学基金重点项目(61232002)；武汉大学重点实验室开放基金(SKLSE2012-09—16)通信作者：张蓉，女，副教授，硕士生导师，研究方向为Web数库原理．E—mail：rzhang@sei．ecrlu．edu．CI"1．90华东师范大学学报(自然科学版)0引言在信息时代，信息通信与人们的生活密不可分．随着移动通信终端的普及和移动智能设备的发展，移动通信领域不再仅限于远距离通话以及信

8、息通讯等基础业务，还包括互联网访问、智能导航、在线视频会议等一批新兴应用，响应这些应用需要高效的实时数据处理的数据管理平台的支持．传统的移动通信过程其本质是为基于远程无线通信网络或有线网络的信