hadoop大数据平台应用案例详细分析.pdf

《hadoop大数据平台应用案例详细分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、IntelHadoop发行版案例案例分享一多个地级市智能交通系统大数据2动机机动车数量(单位:百万)250224.74233车辆统计和增长率200Millions7.66%150Dec-11114•233M机动车(年增长率.3.67%)105.89Jun-12100•114M轿车(年增长率.7.66%)500MotorVehiclesCars•103M摩托车MotorVehiclesbyCities(06/2012)65.025Millions3.7643.07挑战32.482.292.232.212.092.051.992•交通拥堵已成常态10•道路建设不能赶上

2、机动车增长速度SOURCE:•每年增长<5%http://www.mps.gov.cn/n16/n1252/n1837/n2557/3327565.html•3现行管理方案取得效果，但不足够•牌照限制•出行限制智能交通系统目标交通管理–强制交通规则(例如,限速)–运输计划支持–按需交通控制–交通情况研究旅客信息系统–实时路况–畅通&堵塞–历史照/摄相影像&统计–出行时间信息–不同出行方式–前瞻性的出行计划商用车辆信息•商用车辆管理，跟踪，调度4公共安全–视频监测(远程视频播放&视频搜索)三个主要的途径交通摄像–通常安装在高速和街道–2百万像素网络摄像头–

3、已部署–5百万像素网络摄像头–新安装–每个摄像头1或2个线路–每城市中200~1000摄像头监控摄像–在街道上安装,在建筑物周围安装,etcGPS终端–在商用车辆上安装–新兴的带有摄像头，GPS和3G网络的平板电脑上5智能交通的一个数据中心实时路况影像车辆跟踪实时拥堵状态基于交通流量的信号灯控制6智能交通的软件架构数据挖掘(例如：车辆跟踪)即时查询(例如：路况信息)Hive应用程序MapReduceHBase视频流处理(例如：实时路况)7当前智能交通的功能交通管理向控制中心和监控系统实时报告路况在定长路段通过平均车速计算超速车辆检测伪造车牌车辆通过分析

4、出发地-目的地数据为道路建设提供参考公共安全实时跟踪车辆秒级超速违章检测和模糊查找黑名单警告和报警,或改变交通模式.检测某些地点相同车辆反常的高发事件旅客指引为驾驶员获取最新的实时路况影像和交通流量状态在城市中为每一路段进行时间估计8案例分享二某运营商省公司清账单系统新详单系统建设的必要性原清帐单系统建立在小型机及其高端存储设备上。为了实现海量数据存储及快速导入，原系统把明细清单压缩存放到文件系统中，数据库只保留索引信息以满足查询性能的要求。随着时间推移，数据量增长，需找新的解决方案越来越迫切：•通过文件存储定长记录的方式，程序难以修改。原有清单中心基

5、于266字节的定长格式，但新融合计费项目上线，清单格式增长至1024字节。•文件系统缺乏常规查询语言，如SQL，HIVE等，旧已经不能满足越多越多统计需求。•系统需要不断增加新字段，文件系统无法扩展。•文件系统不支持数据库常规的更新功能，详单冲销、修正、补信息等功能难以实现。•随着新详单格式改变，存储空间及性能相应需要增加5倍。扩容费用高昂。新清帐单系统关键需求一、必须能够高效处理海量数据单月清单数据量约1000亿条×1k/条=100TB，6个月总量高达600TB(6+1)~700T从600TB清单数据中检索某用户某个月的清单记录，响应时间应小于1秒支持高峰

6、期每秒2000个并发访问查询满足现在清帐单业务的查询统计需求(23类)实时入库，清单文件无积压。（清单文件最大2万条，最小1条记录。实时生产，平均每秒2个20MB的清单文件，高峰期到每秒10个20MB文件）对联机分析必须提供标准编程接口，支持SQL/JDBC/ODBC等二、高可扩展和高可用用户程序查询数据不需要知道底层细节，比如数据分布细节可以水平扩展允许多台机器故障的场景下，业务不中断新清账单系统基于Hbase的测试结果以下数据是实验情况下对Intel的Hbase基于一个月详单数据的测试结果，随着集群规模扩大，性能还能线性的提高负载情况并发线程（并发

7、性能指标1:查询个性能指标2:清单条平均查询延时用户）数(用户数)/秒数/秒高负载7500600个查询/秒400000条清单/秒0.9秒中等负载2500450个查询/秒300000条清单/秒0.5秒低负载1000200个查询/秒130000条清单/秒0.3秒总体性能及成本综合评估:Hbase在5台查询清单PC的基础上，就达到了最大查询速度476个查询/秒，数据量达到285000条清单/秒，入库速度2.83万条/秒，平均每条记录1KB在实现同样需求的情况下，相比小型机和高端存储方案，新清账单中心全部选用了pcserver等设备，我们预计，成本约降为原来的1/4，性能

8、提升大于3