基于Hadoop的云计算在清分系统中的应用-论文.pdf

《基于Hadoop的云计算在清分系统中的应用-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、I_)》一探索察⋯⋯⋯⋯⋯⋯⋯⋯⋯一基于Hado清分系统中的应用AnapplicationintheAutomaticC)SystembasedoncloudcomputingforHadoop高新现代智能系统股份有限公司胡宇舟范滨高新现代智能系统有限股份公司博士后科研工作站顾学道缪力GaoXinModerBIntclIigentSystern(GXMIS)LimitHUYu—zh0uFANBinPostalDoctorFrogramofGXMISGUXueda0MIAOLi【摘要】针对轨道交通行业客流量逐年增大而带来的大数据和在清分系统中采用大中型计算机和关系型数据库导致成本高与容错低的问

2、题，本文首次提出了采用Hadoop云计算解决该问题的一个技术途径，包括系统设计与实现以及测试结果等。实践表明，于Hadoop的云计算完全适用干轨道交通售检票清分系统的处理实时数据业务和非实时数据业务，具有成本低，容错好，运行稳定和效率高的优点，硬件投资仅占单台服务器的十分之一，其扩展性与容错性均优于单台服务器【关键词】Hadoop；云计算；清分系统；大数据Abstract：AccordingtotheproblemsofbigdatacausedbyyearlyincreasedrailtransitpassengerflowandCOStaswellasfaulttoleranceofus

3、ing]argeandmediumscalecomputersandRDBintheACt")rstem，thispaperpresentsatechnicalway，includingsystemdesignandimplementaswelastestingresultsandsoon，tosolvedaeproblemsbasedonHadoopcloudct)mpudngtechnolol~,atfirst．PracticeindicatesthatcloudcomputingbasedonHadoopistotallysuitableforrealtimeandcon—realti

4、medataprocessingservicesintheACesystemofrailtransitAutomaticFareCollectionystem(AF(：)wld1advantagesoflowerCOSt，betterfaulttolerantcapability．，stableoperauonaswellashighcreficiency．Coveredhardwareinvestmentisonlyatenth(，fsinglesewer．butitsexpansibilityandfaulttolerancearebothsuperiortosingleset'vet．

5、．Keyword：HadilI)p；cloudcomputing；Automatic(．'leafingCollection；bigdata1引言进行r性能参数的优化，包括实时t』非实时数这种计算性能，和运行在单台浔服务器虱J的为J，解决交通拥堵币¨绿色行，各城市都在据、务，以及建立J，一个日志分析和可视化的消分系统性能非常接近r。而成本却人人降低建设包括地铁住内的轨道交通。一个城市的轨道监摔系统t⋯。限于篇幅，本文只叙述Hadoop在了，显示出云计算平台的优势交通往往不足由一个运营公司运行，个乘客从清分系统处理大数据业务应用中的问题。2．3体系架构设计起点到终点常常经J多条地铁线路，乘车费

6、就要本丈结构如下：第2节介绍基y-Hadoop的系统采用三体系架构．山业务层圈．持久层庄所经J7j的线路运营公司之间进行分配。清分系清分系统设计，包括系统组成，体系架构殴计和和物理层组成，如图2所示。统就承担该清锌的功能，实现轨道交通所有线路数据库迁移：第3节叙述了基于Hadoop的清分系之问以及轨道交通线路“一通”结算中心系统的实现，包括预处理模块、实时处理模块和业务层统之间进行黎务清算‘j分帐．是运营商的’个核批处理模块的实现：第4节是基于Hadoop清分系心系统。以深圳为倒，⋯i仃已有5条地铁线路，由3统数据处理的测试结果，包括批数据和实时数持久屡个运营商运莳，每火乐载人约200多万铭

7、乘客。清据处理的结果；第5节为本文的简要结论。一分系统负责所柯线路票款的收集，统汁，处理，2基于Hadoop的清分系统设计会产{i人约2(I1{的原始数据丈件。加1：处理井经2．1系统组成过缩仃放数据库后，每天会产生6—8GB的数据HadooP集群在物理上是由一台名字节点图2体系架构示总图最。这数据仃的保留半年，有的会长期保留。mk)de)、台备用名字节点(Sec【)『】出na嫩xie)2．3．1物理层Ii丁