9-5-百度大数据即席查询技术-孙垚光.pdf

《9-5-百度大数据即席查询技术-孙垚光.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、百度大数据即席查询服务BaiduBigSQL/孙垚光2016-4-22自我介绍基础架构部分布式计算团队孙垚光09年-11年：Linux内核/网络协议栈优化11年-今：分布式计算/百度开放云Hadoop/Spark百度开放云即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL定

2、位Ø大数据即席查询（Ad-HocQuery）平台ØPAAS：开箱即用，用户无需关心机器/集群的运维/细节Ø高性能/规模：裸机/优化/最大PB量级以上Ø低成本：多租户共享集群/按使用付费BigSQL特点Ø数据格式：半结构化（CSV/JSON/Parquet/Protobuf等）Ø使用接口：易用/多样化（RestAPI/Console/CLI/JDBC）Ø语法集：兼容开源SparkSQL/HQLØ按使用付费：按（Query复杂度+扫描数据量）计费Ø多用户协同：灵活的权限管理Ad-HocQuery•面向“人”的查询ü

3、交互式（Interactive）：Ø查询具有较高时效性ü即席（Ad-Hoc）：Ø查询模式相对不固定Ø数据没有（时间/成本）做过多预处理即席查询vs多维分析Ad-HocQueryOLAP数据密度弱（半）结构化高度结构化加工过程粗（浅）加工深度加工查询模式相对随机相对固定MPP/Shared-NothingMPP/ImpalaSQLonHadoop/SparkSQL扩展性1000台以内/PB以下千台以上/PB以上查询延迟毫秒~秒秒~分钟架构复杂性中等复杂容错无有调度策略Gang/Transaction分批启停开销小

4、/常驻进程大/现启动与存储结合程度紧密松散BigSQL示意图UserUserQueryQueryBigSQLServiceStreamingBatchWebServeTools/SDKBOSr即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL整体架构SDKCLIToolsConsoleRESTAPI接入层（HttpServer）StateSessionManagerIAMStoreSessionWorkerSe

5、ssionWorkerSessionWorkerQueryQueryQueryMetaStoreQueryQueryQuerySparkContextSparkContextSparkContext账单监控SchedulerCompute&StorageClusterBigSQL整体架构：接入层Ø易用性：各种形式的APIØ可用性：关键节点容错Ø安全：租户认证和鉴权、Quota限制Ø账单Ø监控BigSQL整体架构：引擎层接入层SessionWorkerSessionWorkerSessionWorkerSessi

6、onWorker计算引擎（Spark）APPAPPAPPAPPExecutorExecutorExecutorExecutorExecutorExecutorExecutorExecutor分布式缓存（CacheManager）存储引擎（DFS/ColumnStorage）即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL关键技术（一）高性能ShuffleBigSQL关键技术（一）高性能ShuffleBigSQ

7、L关键技术（一）BigSQL关键技术（二）数据缓存层UserUser接入层计算引擎（Spark）CacheManagerCache存储引擎（HDFS+Parquet）BigSQL关键技术（二）数据缓存策略l按需缓存ØQuery运行时触发Cachemiss，异步load到缓存l数据预取Ø周期性Load相关Table/Partition到缓存Ø根据过去Query信息统计热点数据，提前Load到缓存典型案例：跨地域查询加速（提升至少一个数量级）BigSQL关键技术（三）优化执行l智能参数优化Ø利用Combine类In

8、putFormat，减少MapTask数Ø根据上游输出，自动优化ReducePartition数目l调度优化Ø评估数据量，自动复用Application或者启用新的Applicationl近似查询Ø长尾任务自动忽略，保证时效性BigSQL关键技术（四）资源隔离/安全l基于Cgroup/Namespace的Container隔离ØCPU/Memory/FSØContainer本身的加固Ø