基于infosphere streams的流数据分析及应用

《基于infosphere streams的流数据分析及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级UDC学校代码10497学位论文题目基于InfoSphereStreams的流数据分析及应用英文题目AnalysisandApplicationofStreamDataBasedonInfoSphereStreams研究生姓名辛波姓名刘洪星职称教授学位博士指导教师单位名称计算机科学与技术学院邮编430063申请学位级别硕士学科专业名称计算机应用技术论文提交日期2014年4月论文答辩日期学位授予单位武汉理工大学学位授予日期答辩委员会主席评阅人2014年5月万方数据独创性声明本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取

2、得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：日期：学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文

3、。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。（保密的论文在解密后应遵守此规定）研究生（签名）：导师（签名）：日期：万方数据武汉理工大学硕士学位论文摘要当前，一种被称为流数据的新数据形态在越来越多的应用领域内出现，与传统的静态数据不同，流数据具有持续性、海量性、高时效性的特点。若使用传统数据处理方法则会导致处理延迟太高无法满足实时性的要求，同时尝试将分布式计算引入流数据处理领域也是不可行的，需要寻找一种新的数据处理方法来支持流数据的处理，这种方法就是流计算。现在对智能交通领域的海量实时

4、流数据的处理还主要采用的是传统数据处理方法，这已经逐渐无法满足现实需要。本文提出了一种将流计算和流计算平台引入智能交通领域的海量实时流数据处理的方案，提高处理速度，降低处理延迟，以满足日渐增长的实时性要求。并深入分析了流计算和InfoSphereStreams平台的工作原理，在此基础上设计并实现了基于InfoSphereStreams的实时路况监测系统。为了验证新方案的优势，在本文的研究工作中，分别使用传统数据处理方法、单条流水线的流计算方法和多流水线的流计算方法实现相同业务功能的应用，并对三个案例的实际性能表现进行对比分析。结合流计算所关

5、注的主要性能指标，设定具体的评估项和实验方案，实际进行了实验和对比分析，实验结果表明在处理流数据方面流计算更具有优势，并且使用多流水线可以成倍地提升数据处理速度，从而说明了在智能交通领域使用流计算进行流数据处理的可行性和合理性。关键词：流数据，流计算，InfoSphereStreams，实时性，智能交通系统I万方数据武汉理工大学硕士学位论文AbstractAtpresent,anewdataschemanamedstreamdataappearsinmanyapplicationfields.Unliketraditionalstaticd

6、ata,streamdatahasfeaturesofconstancy,massiveandtime-critical.Soitcan’tmeetthedemandofreal-timetoprocessingstreamdatawithtraditionmethodbecauseofhigh-latency.Anditisunusefultointroducedistributed-computingintoprocessingstreamdata.Soanewmethodisneededtosupportprocessingstrea

7、mdata,itisstreamcomputing.NowthetraditionalmethodiswidelyusedforprocessingstreamdatainIntelligentTransportationSystem,anditcan’tbeabletosatisfytheincreasingdemands.Therefore,aplanhasbeenputforwardtoprocessingmassive,real-timestreamdataofITSwithstreamcomputingandstreamcompu

8、tingplatforminthisthesis,inordertosatisfyingtheincreasingdemandforrealtimebyimprovingproc