mongodb存储服务设计方案

《mongodb存储服务设计方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、MongoDB存储服务设计方案1.需求分析1.1客车平台和货运平台现有需求1)实时数据文件存储类a.实时轨迹数据：传统文件方式存储，一条轨迹150B，每天上报8640次，一天大约为1M；轨迹文件格式说明：偏移经度:偏移纬度:GPS时间:GPS速度:正北方向夹角:车辆状态:报警编码：经度：纬度：海拔：里程：累计油耗：发动机运行总时长：引擎转速（发动机转速）：位置基本信息状态位：报区域/线路报警：冷却液温度：蓄电池电压:瞬时油耗:行驶记录仪速度:机油压力:大气压力:发动机扭矩百分比:车辆信号状态:系统时间

2、r特点：数据频率高，数据量大。b.实时报警数据：传统文件方式存储，一条报警100B，每天上报8640次，一天大约为800K；报警文件格式说明：报警编码：偏移经度:偏移纬度：经度：纬度：GPS时间:GPS速度:正北方向夹角：累计油耗:里程:报区域/线路报警:海拔：系统时间r特点：数据频率高，数据量大。43c.驾驶行为事件：传统文件方式存储，一条驾驶行为事件100B，每天上报不固定，根据实际生产环境观察，平均每天最大300K；特点：数据频率不高，数据量小。d.发动机负荷率：传统文件方式存储，一

3、条发动机负荷率200B,每天上报360次，一天大约为80K；特点：数据频率不高，数据量小。e.拍照数据，图片文件，每天上报数据量不定特点：数据频率不高，数据量小。f.盲区补传轨迹文件：轨迹文件统计最大数，这里不做统计；g.盲区补传报警文件：报警文件统计最大数，这里不做统计；2)实时数据传统数据库存储类Oracle数据库存储A．存储非法轨迹位置；B．更新车辆最后位置；C．存储、更新车辆上下线；D．存储、更新车辆报警；MYSQL数据库存储A．更新车辆最后位置B．存储、更新车辆报警3）操作指令传统数据库类O

4、racle数据库存储A.存储、更新下行指令，建议放在MongoDB中，用 CappedCollection来存放。B.存储车辆多媒体事件C.存储车辆多媒体信息D.存储车辆注册，建议放在Oracle数据库中。E.存储车辆鉴权，建议放在Oracle数据库中，同步到redis中供鉴权服务用。F.存储车辆注销，建议放在Oracle数据库中。G.存储车辆事件报告43A.存储车辆信息点播，建议放在Oracle数据库中。B.存储车辆电子运单，建议放在Oracle数据库中。C.存储车辆驾驶员信息，建议放在Oracle

5、数据库中，同步到redis，防止二次访问数据库。D.存储车辆行驶记录仪信息，建议放在Oracle数据库中。E.存储、更新车辆调度信息，建议放在Oracle数据库中。F.更新车辆照片信息G.更新终端参数信息H.更新路线信息，建议放在Oracle数据库中。I.更新电子围栏，建议放在Oracle数据库中。J.存储、更新终端参数设置，建议放在Oracle数据库中。K.更新终端版本号，建议放在Oracle数据库中。L.存储多媒体数据检索M.存储上行透传信息N.存储数据压缩透传O.更新提问应答MYSQL数据库存储

6、：A.存储、更新下行指令，建议废弃MySQL，用redis来替代。B.存储车辆多媒体信息，，建议废弃MySQL，用redis来替代。4）历史数据查询统计类A.轨迹回放条件：GPS时间（开始时间、接收时间）、VID；B.区域查车（当前区域内车辆）条件：车辆类型、车辆速度、是否报警；C.区域协查（历史区域内车辆）条件：GPS时间；D.历史报警条件：类型、状态、时间；1.2现有平台存储服务上存在问题1）盲区补传数据分离问题；2）跨多天历史轨迹查询的问题；431）报警数据和GPS实时数据分离的问题；2）区域查

7、车、区域协查的准确性和计算效率问题；3）报警数据、CAN总线数据统计分析问题，MongoDB提供MapReduce（一个大规模数据并行计算技术，源于google）服务来进行统计分析；4）拍照数据问题（统一管理，方便访问）；5）业务流程、数据流程合理性问题；6）设计质量问题，如下：3

8、[16569481][66064567][241][404][200][20120312/172641]

9、[16569423][66064545][241][415][199][20120312/172642]7）集群、负

10、载均衡问题；8）高可用性问题(在线扩容、故障转移)；9）运营监控问题（存储实例监控）；431.方案设计2.1存储服务方案设计目标利用MongoDB来一体化解决GPS实时数据（高并发）存储和相关的查询统计业务（如历史轨迹查询），并解决存储服务的长期运营的高可用性问题。具体包括：A.解决GPS实时位置信息存储问题（高并发写、高速查询、高速统计分析）；B.解决GPS报警数据存储问题（高并发写、高速查询、统计分析）；C.解决司机驾驶行为数据存储问题（高并发写、高