携程实时大数据平台实践分享张翼

《携程实时大数据平台实践分享张翼》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、携程实时大数据平台实践分享2016-06-30公司简介OPS/IT/CC携程旅游网成立于1999年，总部设在上海，目前有员工30000余人2003年12月9日在美国纳斯达克成功上市携程拥有超过2.5亿的注册会员酒店预订：在全球200多个国家和地区拥有超过120万家酒店的会员酒店机票预订：产品覆盖全球六大洲5000多大中城市旅游度假：线路产品覆盖超过100多个目的地国家和地区；2015年大陆地区度假产品的服务人次超过2000万我的介绍OPS/IT/CC浙江大学本科，硕士毕业近10年工作经验，5年大数据架构的经验之前在eBay中国研发中心和大众点评工作过，从0

2、开始组件团队，搭建起大众点评数据平台的基础架构目前是携程的大数据平台负责人关注大数据架构领域的发展，对Hadoop，HIVE，HBASE，Spark，Storm等有所研究，致力于大数据架构和业务场景的结合和落地，通过数据产生业务价值目录OPS/IT/CC缘起小试牛刀成熟和完善新方向和新尝试不断演进中的平台缘起OPS/IT/CC携程数据业务的特点：•业务部门多，形态差别大：酒店/机票两大BU，近20个SBU和公共部门•业务复杂，变化快之前，各个业务部门也有一些实时数据应用，但存在着诸多问题：•技术上五花八门•力量薄弱，应用的稳定性无法保证•缺少周边的配套设施

3、•数据和信息共享不顺畅平台需求OPS/IT/CC稳定可靠的平台：业务只需要关心业务逻辑的实现，平台维护交给专业同学完整的配套设施：测试环境，上线，监控，告警信息共享：数据共享，应用场景共享，互相启发及时的服务：解决从开发，上线，维护整个过程中遇到的问题目录OPS/IT/CC缘起小试牛刀成熟和完善新方向和新尝试不断演进中的平台技术选型OPS/IT/CC消息队列：实时处理平台：主要出于成熟度，稳定性的考虑，我们最后选择Storm作为数据处理的平台系统架构示意图OPS/IT/CCDBUBTServerKafkaStormRedisESBUClientsHBASE

4、这样远远不够！平台治理–数据共享OPS/IT/CC数据共享：数据共享的前提是用户能够清楚地知道可以使用的数据源的业务的含义以及其中数据的Schema我们的解决方法是统一的Portal的站点和使用AVRO来定义数据的Schema；我们在Storm之上封装了自己的API，来自动完成数据的反序列化用户在系统生成用户在项PortalPOJO并将JAR目中直接上传加入Maven的添加POJOSchema仓库的依赖平台治理–资源的控制OPS/IT/CCPortal允许用户对于作业设置，对每个Spout和Bolt设置并发相关的参数，通过审核后才能生效Storm之上封装自

5、己的API，屏蔽这些参数的设置平台治理–统一的管理PortalOPS/IT/CC用户对于作业的管理都能通过Portal上提供的功能完成初期的业务接入OPS/IT/CC在平台搭建的同时，我们积极推进数据源和相关业务应用的接入数据源：•UBT–携程所有用户的行为日志•Pprobe-应用的访问日志相关应用：•基于UBT日志分析的实时报表•基于Pprobe日志的实时反爬虫分析程序平台搭建初期的经验OPS/IT/CC最初尽可能地做好平台治理的规划：重要的设计和规划都需要提前做好，后续调整时间越晚，付出的成本越大系统只实现核心的功能：集中力量尽量早接入业务•前提是核心

6、功能基本稳定•系统只有真正被用起来才会得到不断的进化•低优先级接入业务需要有一定的量：•能够帮助整个平台更快地稳定下来•积累技术和运维上的经验目录OPS/IT/CC缘起小试牛刀成熟和完善新方向和新尝试不断演进中的平台日志相关系统的完善OPS/IT/CCStormUI：ES：Logstash->Kanban方便用户进行查询MetricsOPS/IT/CC基于Storm封装的API中增加通用的埋点：•消息从到达Kafka到开始被消费所花费的时间•Topic/TaskLevel的一些统计信息实现自定义的MetricsConsumer把信息输出到携程的Dashbo

7、ard和Graphite（告警）告警系统OPS/IT/CC任何Storm内置的或是用户自定义的Metrics都能够配置默认配置Topology的Fails数的告警通用Spout和Bolt的开发OPS/IT/CC开发了适配携程通用MQ的Spout，使接入的数据源得到了进一步的扩展，更多的业务数据能够被Storm使用通用的Bolt，开发了3种针对于不同数据源的Bolt，方便用户把数据输出到外部存储：•RedisBolt：仿照原生的实现，集成携程封装的Redis的客户端•HBASEBolt：支持Kerberos的认证•DBBolt：集成携程的DAL框架封装API

8、的版本迭代OPS/IT/CC我们自己在Storm-core和Sto