内存数据库在高并发匹配路段初筛系统中的应用研究.pdf

《内存数据库在高并发匹配路段初筛系统中的应用研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基金硬茸学术探讨I2012年第1、2朝l内存数据库在高并发匹配路段初筛系统中的应用研究吴伟吴堑虹邓吉秋陈会娟f1．中南大学地球科学与信息物理学院，，湖南长沙410083；2．中国科学院深圳先进技术研究院，广东深圳518055)[摘要]现有的匹配路段初筛系统都采用基于磁盘文件的数据库系统作为路网数据及其与网格间索引数据的存储容器。当有大规模GPS数据要进行处理时。传统磁盘数据库由于内外存交换开销过大导致无法支持数据的实时、高吞吐量处理。为此，本文将内存数据库引入匹配路段初筛系统中，通过将现有的初筛算法和内存数据库相结合，实现了一个测试系统。实际数据测试结果表明，本文的方法将匹配路

2、段初筛系统的检索性能提高了3倍，有效提升了匹配路段初筛环节的处理速率和吞吐量。[关键词]GPS；地图匹配；匹配路段初筛；内存数据库；数据组织选过程中的处理效率和处理量。1．引言2．内存数据库的应用随着车辆运输的集团化以及GPS定位设备的广泛应在离线情况下，提前构建路段和其所在单元格之间的索用，动态GPS目标的统一监控和管理成为交通智能化的基引数据，是移动窗口技术和文献[2】、[3]中的方法能有效实施础，实时处理由动态GPS目标产生的大规模GPS数据也成的关键，其操作过程为：在含有整个路网集合的地图区域内，为智能交通信息系统面对的难题。而从路网中选择GPS点以单元格为单位对地图进

3、行分割，从而建立各级网格单元格最有可能所处的道路，然后计算出GPS点在该道路上的精与落在其范围内的路段之间的索引关系。确位置[1】，即地图匹配过程，则成为实时GPS数据处理的关现有方法中，路网数据、网格数据及其两者之间的索引键技术。数据都是按图1中的关系模型进行组织并放在基于文件系当前国内外学者解决大规模GPS数据地图匹配实时处统的磁盘数据系统(例如：Oracle、SQLServer、MySQL或理问题的两种途径为：(1)减少单个GPS数据的匹配时间；Postgresql等数据库产品)中进行存储。本文同样按照图1中(2)增加单位时间内处理的GPS数据量。的关系模型对三种数据进行

4、组织，但选择内存数据库作为数在降低单个GPS数据的匹配时间方面，从降低GPS点据存储容器。的待匹配路段数量角度辅助提升单个GPS点的处理效率是有效方法之一。移动窗口技术、交错式移动窗口技术[2]和基网格关系表道路于多级网络划分的匹配道路初筛方法】是这种方法的代表。GRIDIDGRIDIDROAD_ID__三者能有效降低单个GPS点的匹配时间的关键在于提前构ROADIDNAME建网格和路网之间的索引数据，通过网格索引数据缩减同图1网格、道路及两者之间索引关系模型单个GPS点进行匹配的路段数量。在增加GPS数据处理吞吐量方面，在高性能计算机平2．1内

5、存数据库的优势台上用并行计算手段进行大规模GPS并行地图匹配】或相由于传统磁盘数据库的主要数据库常驻磁盘，事务处理关交通应用嘲是可靠方法之一。在计算机集群上进行大规模往往涉及磁盘I／O操作【l2】，系统本身的I／O瓶颈限制了磁盘GPS数据的并行处理[7-9]也成为现在流行的解决方案。近来数据库的最大处理能力。虽然通过使用高性能的硬件设备能利用云计算技术进行海量GPS数据实时、高吞吐量处理[101一定程度上缓解高并发处理压力，但是投入成本的攀升和数也成为新趋势。利用高性能计算机或计算机集群处理高并据规模的不断增大，使得传统磁盘数据库的投入难以获得较发的GPS数据，其实质是利用高性

6、能的硬件设备或增加处好的性价比。理器的数量来提升系统的处理速率和吞吐量，本质上没有内存数据库的主数据库常驻内存，其目标是提高内存和解决单个处理器的处理吞吐量。鉴于磁盘I／O操作的时间不CPU使用效率I】。存储介质的不同是内存数据库与磁盘数据确定性消耗了大量的CPU计算时间[11】，本文提出利用内存库的本质区别。内存和磁盘是两种物理结构和电器特性都不数据库，将路网数据及其和网格的关系数据在内存数据库同的存储介质，两者之间的存取时间相差若干数量级。此外，中进行存储，从数据存储层面改进GPS数据在匹配道路初在工作状态下，内存数据库的所有数据和资源都存放在内存作者简介：吴伟，男，江西丸

7、江人，硕士研究生，研究方向：并行计算，地理信息系统。基金项目：国家水体污染控制与治理科技重大专项课题，项目编号：2009ZX07212—001—06。～31—基金顶目学术探讨I一——看由图2可见，在两种存储平台上，相同筛选算法对内存algorithmbasedonmulti-coreandMPI[c]／／proceedingsoftheRemote消耗没有较大的差别，即使用内存数据库对系统内存的消Sensing，EnvironmentandTransportationEngineering(