南大通用范多锋—mpp数据库技术，支撑行业大数据应用

《南大通用范多锋—mpp数据库技术，支撑行业大数据应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、南大通用范多锋—MPP数据库技术，支撑行业大数据应用<InsertPictureHere>软件发掘数据价值MPP数据库技术，支撑行业大数据应用范多锋南大通用数据技术股份有限公司<InsertPictureHere>软件发掘数据价值MPP数据库技术，支撑行业大数据应用范多锋南大通用数据技术股份有限公司3*3目录一MPP数据库技术及实践GBase8aMPPCluter产品特性二企业简介四GBase8aMPP电信和金融案例三MPP(MassivelyParallelProcessing)：大规模并行处理系统，系统由许多松

2、耦合处理单元组成的。每个单元内的CPU都有自己私有的资源，如总线、内存、硬盘等。在每个单元内都有操作系统和管理数据库的实例副本。这种结构最大的特点在于不共享资源。万兆网络..Interconnect存储+计算节点??MPP架构应具有的特征：??任务并行执行??数据分布式存储（本地化）??分布式计算??私有资源??横向扩展??SharedNothing架构??MPP架构产品：??MPP数据库??NoSQL2什么是MPP？55核心功能核心价值??软件定义的架构：基于通用硬件??高性能：大表关联、复杂SQL、即席统计、多维分析??易用性：对应用

3、透明??可靠性：自动故障诊断、修复、硬件在线替换能力??安全性：用户权限、审计??支持严格的关系模型：SQL92，加扩展，加存储过程??支持事务、保证数据强一致性：2阶段提交，ACID特征??数据存储格式和存储分布优化：很好的OLAP性能和扩展能力??深度优化的分布式、单节点SQL优化器：MPPRDBMS的主要特征和价值6并行数据库系统的发展典型的并行数据库产品??Teradata/NCR??IBMDB2WED(WarehouseEdition)??MicrosoftSQLServerPDW??Greenplum(EMC),Vertica

4、(HP),Nettezza(IBM),AsterDatanCube(Teradata)，Exasolution，ParAccelAnalyticalDatabase??GBase8aMPPCluster??…??1992-ParalleDatabaseSystems:ThefutureofHighPerformanceDatabasesystems.ByDavidDewittandJimGray??70年代RDBMS理论的出现推动了现代数据库的高速发展??Oracle在1978年出现，Teradata在1980年出现基于MPP架构的并行数

5、据库（RDBMS）典型案例Scaleout（MPP）..Scaleup（SMP）高性能+高扩展能力高性能节点扁平，对等高扩展能力MPP集群SharedNothing+MPP集群性能随节点数增加呈近似线性关系MPP数据库的主要设计目标：横向扩展7从大规模数据、复杂关联查询、即席查询的需求考虑，无论是电信运营商还是金融用户的技术选型包括：传统数据库、Hadoop、大规模MPP集群。三者应对场景各有侧重，综合当前的三大需求，大规模MPP集群必然是大数据应用所需的产品之一。MPP数据库和Hadoop对比查询复杂度数据规模即席、自助查询数量Hado

6、op（NoSQL）传统数据库（OldSQL）8大规模MPP数据库集群（NewSQL）大数据的宏观视图：行业与互联网大数据9文件报表纳税分析社保分析决策支持预测结构化+半结构化公安网监国安技侦舆情监控银监会稽查食品溯源环保监测结构化+半结构化音视频地震勘探气象云图卫星遥感雷达数据物联网非结构为主行业大数据的体量与互联网大数据的体量相当，在一个数量级上行业大数据的价值密度高于互联网数据行业大数据为数据库厂商带来的商业机会和商业价值高于互联网大数据。电信信令电信话单金融细账金融票据电力调度智能电网经营分析结构化为主10%结构化30%半结构化60

7、%非结构化价值密度结构化>半结构化>>非结构化大数据行业大数据互联网大数据经营类管理类监管类专业类数据处理平台基础数据源业务数据文本数据音频数据视频数据…事务型数据库（在线业务数据）MPP数据库（高价值密度结构化数据）流处理技术Hadoop（低价值密度数据）大数据应用DW数据集市数据集市数据集市元数据索引数据半结构化数据OLTP非结构化数据结构化数据列存储粗粒度索引压缩技术SQL优化动态扩展资源管理HIVEPIGMapReduceHDFS大表关联并行数据加载事务数据完整性锁机制索引SQL执行SQL优化监控管理备份恢复断点

8、处理缓存技术行业大数据应用未来趋势-混搭架构10大数据技术在电信行业的混搭架构案例78ODSDWDDWA数据集市数据集市SMPMPP高价值密度数据（结构化）数据集市数据模型内存数据库实时流数据