基于Storm的云计算在自动清分系统中的实时数据处理应用-论文.pdf

《基于Storm的云计算在自动清分系统中的实时数据处理应用-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、JournalofComputerApplicationsISSN1001．90812014—06．30计算机应用，2014，34(S1)：96—99C0DENJYIIDUhttp：／／www．joca．cn文章编号：1001—9081(2014)S1—0096—04基于Storm的云计算在自动清分系统中的实时数据处理应用胡宇舟，范滨，顾学道，缪力(1．高新现代智能系统股份有限公司产品研发部，广东深圳518057；2．高新现代智能系统有限股份公司博士后科研工作站，广东深圳518057)(+通信作者电子邮箱guxuedao@126．com)摘要

2、：针对轨道交通行业客流量逐年增大而带来的大数据问题，提出了采用Strom云计算技术解决该问题的方法，并证明了云计算技术完全适用于轨道自动交通售检票(AFC)清分系统(ACC)，探讨了基于Stoma云计算在处理清分系统处理实时数据业务中的应用。实践表明，基于Storm的云计算完全适用于轨道交通售检票清分系统的处理实时数据业务，成本低，容错好，运行稳定，效率高，硬件投资仅占单台服务器的十分之一，其扩展性与容错性均优于单台服务器。关键词：Storm；云计算；自动清分系统；大数据；轨道交通中图分类号：TP183文献标志码：AApplicationof

3、real—timedataprocessingservicesinautomaticclearingcollectionsystembasedoncloudcomputingforStormHUYuzhou．FANBin，GUXuedao2，MIAOLi(1．ProductDevelopmentDepartment，GaoXinModernIntelligentSy,te,~CorporationLimited,ShenzhenGnangdong518057，China；2．PostalDoctorProgram,GaoXinModernIn

4、telligentsy5ternCorporationLimhed，ShenzhenGuangdong518057，China)Abstract：Accordingtobigdataproblemcausedbyyearlyincreasedrailtransitpassengerflow，thepaperpresentedamethodadoptingStormcloudcomputingtechnologytosolvethisproblem，verifiedthatcloudcomputingtechnologyissuitablefo

5、rrailtransitAutomaticFareCollection(AFC)systemandAutomaticClearingCoilection(ACC)system，anddiscussedcloudcomputingapplicationinprocessingreal—timedataofACC．PracticeindicatesthatcloudcomputingbasedonStormistotallysuitableforreal-timedataprocessinginrailtransitACCsystemwithlo

6、wercost，betterfaulttolerantcapability，stableoperationaswellashighereficiency．Itshardwareinvestmentcoversonlyatenthofsingleserver，butitsexpansibilityandfaulttolerancearebothsuperiortosingleserver．Keywords：Storm；cloudcomputing；AutomaticClearingCollection(ACC)system；bigdata；ra

7、iltrafic等。现在的清分系统都运行在单台服务器上，主要受到以下0引言的一些限制：用云计算处理大数据被公认为是最有效的方式。目前大1)存储量大小的限制：单台服务器的存储量是有限的，数据量处理平台有Twitter的Storm，Yahoo!的S4，Apache的随着时间的推移，清分系统的数据量会不断地增长。虽然可Storm，UCBerkeleyAMPLab的Spark，NokiaDisco，LexisNexis以通过删掉历史数据来减少数据的存储，但是只是折中方案，的HPCC等。其中Storm和S4采用流处理，适用实时业务；其毕竟每份数据都有它

8、的价值。余的均为批处理，适用非实时业务。2)异常中断的限制：虽然清分系统有容错备份，但也会为了解决交通拥堵，实现绿色出行，各城市都在建设包括遇到系统宕机。系统一旦出