资源描述：
《申玉宝+hbase在大搜车金融业务中的应用实践-22页》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、HBase在大搜车金融业务中的应用实践高级数据架构师申玉宝1234业务介绍数据大屏实践GPS风控实践流式数据统计数据大屏实践车辆轨迹大屏Table:数据仓库(Hive)HBase(Phoenix)GPS.TRACESROWKEY:reverse(DEVICE_ID)+TS消息队列COLUMNS:RK,LON,LAT,VENDOR_ID,CITY_ID,ACC...GPS上报网关数据网关INDEX:ONGPS.TRACES(GPS_TIME,CITY_ID,VENDOR_ID)INCLUDE(LON,LAT)车载GPS设备轨迹大屏大屏性能优化–
2、WebsocketF2EServerHBaseWebSocketConnect•数据分片,减少首次请求耗时Query01:00Send01:0001:00Query02:00•渲染线程与数据请求线程独立,保障后续流畅Send02:00Query03:00Send32:00•使用WebSocket减少建立HTTP请求耗时02:0003:00实时成交大屏DIM基础数据库Table:(Mysql)TRD.TGC_ORDERS埋点日志MQROWKEY:reverse(ORDER_ID)MQ精卫COLUMNS:ConsumerPAY_DATE,STOR
3、E_ID,STORE_TYPE,STORE_AREA,BUYER_ID,CAR_ID...HBase(Phoenix)INDEX:ONGPS.TGC_ORDERS(PAY_DATE,STORE_TYPE,CAR_MODEL,STORE_AREA)INCLUDE(STORE_NAME,AMOUNT)数据网关成交大屏GPS风控实践GPS风控-业务系统GPS风控-业务架构轨迹监控实时轨迹厂商设备注册转发上报电子围栏状态维护风控特征模型预警MQHBase停留点分析提取&里程纠偏后台(ETL)规则引擎聚集分析设备直连GPS上报网关…..聚集分析-Geo
4、Hash•对地球进行二维平面化,不停进行32等分•Base32编码字符串,每个字符由5bit组成•每个字符串代表地球的一个区域聚集分析-计算过程上报GPS数据到数据网关发送贷后管理人员跟进数据纠偏规则引擎聚合其他特征入库HBase根据Left(GeoHash,6)聚合,取出聚合点根据最近轨迹分析出每辆车停留点(定时)根据车辆停留点,生成GeoHash聚集分析-数据存储原始轨迹聚集点支持:按设备,时间维度查询详细轨迹支持:按区域,时间维度查询聚集数据Table:Table:GPS.TRACESGPS.GATHERPOINTSROWKEY:ROW
5、KEY:reverse(DEVICE_ID)+TSreverse(TS)+reverse(left(GeoHash,6))COLUMNS:COLUMNS:DEVICEIDE,TS,LON,LAT,VENDOR_ID,CITY_ID,ACC...TS,GEOHASH,DEVICE_ID…流式数据统计流式数据统计-业务场景业务特点:•实时数据统计(<10s)•数据量较大(1m~100m)•有并发要求(~100qps)•查询维度多且易变流式数据统计–数据流基础维表业务ARDS业务数业务B据库Phoenix数据RDS精卫CacheMID网关业务CMQ
6、埋点数Phoenix据DMLog...流式数据统计–数据合流订单ID订单金额订单ID车辆品牌10001200,00010001宝马订单表订单-车辆表订单-店铺表(主流)(支流)(支流)10002250,00010002奥迪10003320,00010003奔驰10004600,00010004特斯拉数据缓存数据缓存数据缓存订单ID店铺类型100014S店10002二手车商10003新车二网100044S店合流检测订单ID店铺类型车辆品牌订单金额数据整合100014S店宝马200,00010002二手车商奥迪250,00010003新车二网奔驰
7、320,000100044S店特斯拉600,000输出Phoenix流式数据统计–性能测试并发TPSRT(ms)阿里云HBase:10139.5671.21Master(2C4G)+CORE(4C8G)*220197.7999.82数据量:~100million30194.17159.36实验条件:40209.45192.66•线上流量复制50220.77225.47•包含大量Group查询•短路相关缓存60221.29267.71•全Phoenix索引覆盖70208.50339.3180220.52358.2590220.64415.061
8、00223.48439.98*本数据仅为大搜车内部测试,可能受测试条件影响,不代表官方标准流式数据统计–服务监控
