欢迎来到天天文库
浏览记录
ID:53005707
大小:2.29 MB
页数:24页
时间:2020-04-11
《大数据技术峰会廖晓格携程.pdf》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库。
1、MakeBigDataVisualizableandReal-time廖晓格携程大数据平台组Aboutus•来自携程大数据平台Team•负责携程大数据平台的搭建,优化,排障和监控调度系统开发Agenda•背景介绍•携程大数据平台架构•HBase在携程应用•携程产品生态介绍•未来挑战背景介绍•携程所有应用不允许写本地日志•每天日志量40T,总条数上千亿条•每天用户行为数据30T•业务数据飞速增长•所有数据都需要及时反馈给用户,应用或监控携程大数据架构Central用户行预测/DashBoardBI
2、报表报警Logging为分析分析用户可以在网站,手机端查看网站各携程大数据平台种趋势和报警用户可以提交job,sql(hiveorDIPortal:Job执行,监控和调度系统spark),sqoop,workflow调度系统,可以查询HBase,metric,监控整个hadoop平台HiveMahoutSharkSqoop多个HBase集群,分业务部署,共享HDFSMapReduceSparkStormHBaseYARNZooKeeperHDFS携程集群分布OfflineHiveSqoopMah
3、outSharkOnlineStormHBaseMapReduceSparkHDFS携程数据流数据库应用数据系统数据前端JS数据DIMap/ReduceStormSparkPortalHive应用告警JDBC/数实时用户调度SqoopMahout爬虫告警SPARKSQL行为分析据系统流向HDFSHBase数据层DashboardLogCubeUBTBI/报表业务层酒店机票……团队游攻略社区HBase在携程•40个节点支持每天5百亿+条数据量,上20T+的容量•7x24小时服务•每秒百万级请求•改
4、进balance来消除热点•专用HBase运维工具Tool:快速定位问题,发现并消除热点HBase热点消除HBaseClient端优化•Endpoint+自定义各种Filter实现在服务端计算SUM,COUNT,AVG,MAX,MINCentralLogging介绍客户端–LoggingAgent数据汇聚层–Collector数据消费者:实时rpc访问–HBase非实时访问-HiveApp1RCFile/HDFSHiveAgentCollectorWriter……ClientQ1Q2Q
5、1Q2App2RPCAgentHBaseCentralLogging日志跟踪DashBoard介绍度量数据的展示业务、框架、系统度量数据多维度实时钻取覆盖全公司所有metric的监控查询可水平扩展的度量查询引擎对外提供RESTAPIHBase每天6T,260亿记录DashboardUI报警框架IISAccessAppError…数AppMetricsAppEventsLogsLogs据源汇聚AlertCollector层PersistAlertingStorm流RulesRead式
6、处RuleHBase理ConfigDB消息通MessageQueue/Topic知监控介绍Mobile监控UBT(UserBehaviorTracking)介绍•PV•JSerror•Pageperformance•Biztracelog•……Biz2Biz1LoadBalancerNginxNginxCTailServiceCTailServicePusherStormHadoopCollectorHBaseHDFSUBT用户行为跟踪UBT网站用户流量跟踪UBT网站热力图UBT手机端的流量跟踪
7、未来挑战•业务高速发展,集群10X成长•使用更多开源技术•欢迎更多牛人加入:yafengli@ctrip.com•内部技术非常开放,github开源路径:https://github.com/Ctrip-DI/https://github.com/ctriposs/ThanksQ&A
此文档下载收益归作者所有