海量处理与数据分析nosql数据库

《海量处理与数据分析nosql数据库》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一种支持实时复杂查询和分析的NoSQL系统题纲系统需求与现有方案技术方案应用案例系统需求概述数据及系统特点结构化：每条记录包含10个字段左右，每条记录的大小大约是几百字节数据量巨大：达到千亿级以上，达到PB级加载速度快：达到百万条/s的规模系统规模：可以扩展到上千个节点对数据的访问需求提供SQL访问接口支持大规模结果集：达到千万条规模支持按多列的实时查询（秒级）支持多列之间的逻辑比较关系，例如AND、OR、NOT等支持多列之间的的算术比较关系，例如=、>、<等支持统计、聚合、分组、排序等操作（秒级）O

2、RDERBYASC(DESC)，GROUPBY,TOP,LIMITSUM，COUNT，AVG，MAX，MIN数据不更新，但需要对数据批量删除系统需求概述共享磁盘OracleRACDBSAN/共享磁盘DBDBDB网络SAN/FC完全共享SMP服务器DB磁盘现有方案(1)—关系数据库单机数据库结构OracleRAC关系型数据库都主要关注了CA，即一致性和可用性性能、可扩展性上都比较差无法满足可扩展性和性能的要求完全不共享DBDBDBDB网络磁盘磁盘磁盘磁盘Master现有方案(2)—关系数据库集群Para

3、llelDBMS数据分片(sharding)或者功能分区将数据按照不同的策略进行划分：功能、字段值范围、HASH等优点：能够有效的解决可扩展性的问题缺点：shard的扩容比较复杂；联合多个shard的表数据查询复杂。NoSQL（非关系型）NoSQL≠NoSQL，而是NoRelationship，NotOnlySQL系统特点可以处理超大规模的数据，可支持到千亿规模Sharing-Noting架构，可扩展性强数据加载速度快，并可随节点个数线性增长现有方案(3)-NoSQL方案根据特定应用场景的需要设计开发

4、了很多NoSQL系统分布式KV型：例如：Dynamo，PNUTS、FlareCF型：例如：Bigtable，Cassandra和Hbase。文档型：例如：MongoDB,coutchDB现有方案(3)-NoSQL方案现有方案(3)-NoSQL方案现有No-SQL数据管理系统检索能力差K/V型：仅支持基于Key的查询，无法做多关键字查询以及根据Value的复杂查询Column-Based型：扩展了KV数据模型的表述能力，但是仅支持关键字查询，时间区间查询，不支持针对属性的复杂查询以及统计、分析等操作KV

5、型NoSQL数据库一般采用CHash策略基于CHash实现组员管理、数据分布、副本容错等容易实现精确查询，但是无法支持区间查询现有方案(3)-No-SQL.KV现有方案(3)-No-SQL.CF数据采用列存，以Region为单位节点间分布存储基于Region建立三层索引，Root节点保存在Master上现有方案(4)—Hadoop+MR+HIVEHbase、Pig、Hive：提供结构化数据的存储、查询、分析技术MapReduce：提供可靠的分布计算方法HDFS：提供统一视图的分布式存储环境面向非实时的

6、分析型应用速度慢，无法满足实时性的要求现有方案分析PDBMS、No-SQL数据库、Hadoop局限性分析！Hadoop+MR+HiveRDBMS当节点规模扩大时，由于关系模式的约束，子表维护、数据错误等原因导致关系数据库的性能急剧下降！MapReduce无索引的检索方式与“pull”模式的中间数据处理流程导致检索效率低下！No-SQL仅支持基于Row_Key的查询，不支持多列查询，统计分析等复杂查询；针对大返回结果集的查询效率低！现有方案分析系统分类典型系统特点概述关系型数据库DBMS-X，Verit

7、a，GreenPlum,AsterData具备检索复杂性，但是不具有扩展性HadoopHIVE，PIG，HadoopDBetc具备扩展性，但是检索效率低No-SQLLocalHost-KeyValueTC(KC),BDB不具备扩展性Hash-basedKeyValueDynamo,Pnuts,voldemort,falre具备扩展性，但是不支持区间查询Column-familyHbase,Hypertable,Cassandra,Memcachedb,levelDBetc具备扩展性，但是不支持多列查询

8、DocumentbasedDBMongoDB,coutchDB加载、检索效率低检索模式有序表数据规模低高简单复杂关系数据库KV数据库目标领域No-SQL改善传统数据库的可扩展性差，并发性差的问题解决NoSQL数据的检索能力差的问题，增加多列查询、统计排序等功能系统设计目标系统规模：万亿条最终一致性支持更丰富的SQL查询题纲系统需求与现有方案技术方案应用案例系统物理架构负责对集群中各节点进行管理和协调功能负责对全局信息、节点状态信息的管理负责数据索引建立、