大数据分析的案例、方法与挑战_黄志洪(DTCC2012)47.pdf

《大数据分析的案例、方法与挑战_黄志洪(DTCC2012)47.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据分析的案例、方法与挑战2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪数据分析者面临的问题数据日趋庞大，无论是入库和查询，都出现性能瓶颈用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高使用的模型越来越复杂，计算量指数级上升传统技能无法应对大数据：R、SAS、SQL2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪2场景介绍信令监测是做什么的？2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪体系架构数据库服务器：HP小型机，128G内存，48颗CPU

2、，2节点RAC，其中一个节点用于入库，另外一个节点用于查询存储：HP虚拟化存储，>1000个盘入库节点入库方式——常规路径sqlldr大量使用表分区设计数据量：每小时写入200G左右数据磁盘物理写大约为450G每小时问题：1入库瓶颈2查询瓶颈2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪数据库设计物理上采用ASM大表全部按时间分区，开始时按小时分区，但由于数据量庞大，后来改成15分钟分区，最后变成每分钟切换1个分区采用sqlldr方式入库2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪5入库故

3、障描述由于数据量太大，不得不同时启用多个处理机，产生了多个入库节点当入库节点分别增加到2节点和4节点以后，sqlldr出现停顿现象2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪AWR报告2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪AWR报告2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪AWR报告2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪关于BufferCache2012.4DTCC2012DTCC2012中山大学海量数据

4、与云计算研究中心黄志洪Latch2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪寻找Bufferbusywait的根源Sqlldr和OCI方式同时insert多个节点同时insert解决办法1放弃使用OCI2对sqlldr进行垂直切分，尽量避免同时多进程插入同一张表2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪再看AWR2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪新的故障现象Sqlldr依然有停顿，次数较为频密而持续时间较短HWM冲突问题2012.4DTCC20

5、12DTCC2012中山大学海量数据与云计算研究中心黄志洪关于HWM2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪针对HWM冲突的优化措施对于无法垂直切分的特大表，按照入库节点号作子分区2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪再看AWRHWM冲突已经被消除Sqlldr频密周期性短暂停顿的问题依旧2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪最终问题根源AWR报告的提示——文件头部竞争表空间大小与自动扩展是问题根源修正表空间设置后问题消失2012.4DTC

6、C2012DTCC2012中山大学海量数据与云计算研究中心黄志洪18备选方案——牺牲实时性换取直接路径插入直接路径插入有什么好处？为什么没有采用直接路径插入？2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪19备选方案——交换分区2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪20备选方案——外部表2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪21使用传统关系型数据库遇到的困难All–in–one，并非专门针对数据分析设计和优化设计复杂，调优复杂，数据分析师兼任DBA

7、当数据规模增加时，需要扩展硬件，边际成本指数级上升，存在无法突破的物理瓶颈2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪22解决方案列式数据库，实时数据库等新的数据库技术分布式集群：Hadoop，NoSQL及其它分布式数据库技术混合使用各种专业分析产品2012.4DTCC2012DTCC2012中山大学海量数据与云计算研究中心黄志洪23场景：行为指纹识别当为90时，AC两个矢量完全不相关，即两个号码的交往圈相似度最低当为0时，AC两个矢量完