大数据技术峰会廖晓格携程.pdf

《大数据技术峰会廖晓格携程.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、MakeBigDataVisualizableandReal-time廖晓格携程大数据平台组Aboutus•来自携程大数据平台Team•负责携程大数据平台的搭建，优化，排障和监控调度系统开发Agenda•背景介绍•携程大数据平台架构•HBase在携程应用•携程产品生态介绍•未来挑战背景介绍•携程所有应用不允许写本地日志•每天日志量40T，总条数上千亿条•每天用户行为数据30T•业务数据飞速增长•所有数据都需要及时反馈给用户，应用或监控携程大数据架构Central用户行预测/DashBoardBI

2、报表报警Logging为分析分析用户可以在网站，手机端查看网站各携程大数据平台种趋势和报警用户可以提交job，sql（hiveorDIPortal：Job执行，监控和调度系统spark），sqoop,workflow调度系统，可以查询HBase，metric，监控整个hadoop平台HiveMahoutSharkSqoop多个HBase集群，分业务部署，共享HDFSMapReduceSparkStormHBaseYARNZooKeeperHDFS携程集群分布OfflineHiveSqoopMah

3、outSharkOnlineStormHBaseMapReduceSparkHDFS携程数据流数据库应用数据系统数据前端JS数据DIMap/ReduceStormSparkPortalHive应用告警JDBC/数实时用户调度SqoopMahout爬虫告警SPARKSQL行为分析据系统流向HDFSHBase数据层DashboardLogCubeUBTBI/报表业务层酒店机票……团队游攻略社区HBase在携程•40个节点支持每天5百亿+条数据量，上20T+的容量•7x24小时服务•每秒百万级请求•改

4、进balance来消除热点•专用HBase运维工具Tool：快速定位问题，发现并消除热点HBase热点消除HBaseClient端优化•Endpoint+自定义各种Filter实现在服务端计算SUM，COUNT，AVG，MAX，MINCentralLogging介绍客户端–LoggingAgent数据汇聚层–Collector数据消费者：实时rpc访问–HBase非实时访问-HiveApp1RCFile/HDFSHiveAgentCollectorWriter……ClientQ1Q2Q

5、1Q2App2RPCAgentHBaseCentralLogging日志跟踪DashBoard介绍度量数据的展示业务、框架、系统度量数据多维度实时钻取覆盖全公司所有metric的监控查询可水平扩展的度量查询引擎对外提供RESTAPIHBase每天6T，260亿记录DashboardUI报警框架IISAccessAppError…数AppMetricsAppEventsLogsLogs据源汇聚AlertCollector层PersistAlertingStorm流RulesRead式

6、处RuleHBase理ConfigDB消息通MessageQueue/Topic知监控介绍Mobile监控UBT(UserBehaviorTracking)介绍•PV•JSerror•Pageperformance•Biztracelog•……Biz2Biz1LoadBalancerNginxNginxCTailServiceCTailServicePusherStormHadoopCollectorHBaseHDFSUBT用户行为跟踪UBT网站用户流量跟踪UBT网站热力图UBT手机端的流量跟踪

7、未来挑战•业务高速发展，集群10X成长•使用更多开源技术•欢迎更多牛人加入:yafengli@ctrip.com•内部技术非常开放，github开源路径：https://github.com/Ctrip-DI/https://github.com/ctriposs/ThanksQ&A