hive理论hive-基于mapreduce框架的数据仓库解决方案zn

《hive理论hive-基于mapreduce框架的数据仓库解决方案zn》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、文档名称文档密级：Hive-基于Map-Reduce框架的数据仓库解决方案AshishThusoo,JoydeepSenSarma,NamitJain,ZhengShao,PrasadChakka,SureshAnthony,HaoLiu,PeteWyckoff,RaghothamMurthyFacebookDataInfrastructureTeamTranslatorQichen1介绍在商业智能领域（BI，businessintelligence），海量数据的搜集和分析发展尤为迅速，意味着使用传统的数据仓库解决方案会变得极其昂贵。Hadoop是一个流行的

2、开源框架，实现了map-reduce，使用普通硬件就能对海量数据进行存储和处理。然而，map-reduce编程模型较底层，需要开发者编写很多程序，这些程序又难于维护和复用。本文将展示Hive，它是一个基于Hadoop之上的开源数据仓库解决方案。Hive提供了与SQL类似的一种查询语言HiveQL，用于支持查询表达并能将其转化为map-reduce任务在hadoop中执行。HiveQL还支持在查询中插入自定义的map-reduce脚本。HiveQL包含了一个类型系统，用来支持表中出现的原始类型、类似于数组和map的集合类型以及由他们嵌套组成的类型。可以扩展其基

3、本IO库进行自定义格式的数据查询。Hive还包括了一个系统目录(systemcatalog)Hive-Metastore，此系统提供模式（schemas）和统计，用于数据挖掘和查询优化。在Facebook公司，Hive数据仓库中存有数千张容量至少为2PB的表，有超过100人使用其做报告和查询分析之用。本文其它章节的描述如下：l第2节描述Hive数据模型和HiveQL使用实例l第3节描述Hive体系结构及概览查询的各阶段l第4节对演示进行了说明在第5节我们讨论未来的工作并以此结束2HIVE数据库2.1数据模型Hive中的数据可划分为如下类型：l表（Tables

4、）类似于传统数据库中的表。表中的数据存储在HDFS目录中。Hive为用户提供了一个框架，用于访问由DDL语句创建的具有基本数据类型格式的表（或分区）。用户还可以通过定义新的序列化和去序列化方法（又称为SerDe’s）的方式提供相应的抽取器（extractors）和加载器（loaders），用以访问新数据类型格式的表。表和新数据格式的关联关系被存储在系统目录(systemcatalog)中2021-8-8华为机密，未经许可不得扩散第9页,共9页文档名称文档密级：，在编译和执行查询的时候被Hive自动使用。Hive还提供了默认的序列化格式，默认的格式采用了压缩和

5、惰性去序列化。此外，Hive还支持扩展表，这些表的数据可能存储在HDFS，NFS和本地目录中。l分区（Partitions）每张表可以有1或多个分区用以划分数据，划分后的数据存放到表所在目录下的子目录中。比如，表T的数据存储在目录/wh/T，现按列ds=20090101和ctry=US对其进行划分，那么划分后的数据将会存储在目录/wh/T/ds=20090101/ctry=US中。l桶（Buckets）分区中的数据还能依次分成不同的桶，桶的划分基于表中各列的哈希值（Hash），桶做为分区目录中的一个文件存储的。Hive支持原始的列类型（integers，fl

6、oatingpointnumbers，genericstrings，dates和booleans）和嵌套的集合类型：array和map。用户也可以定义自己的类型。1.1查询语言HiveQL是一种很像SQL的查询语言。事实上，SQL查询所包含select，project，join，aggregate，unionall和from语句下的子查询也适用于HiveQL。Hive支持数据定义（DDL）语句，能用来创建，删除和修改表，还允许用户从外部源加载数据以及分别通过加载（load）和插入（insert）数据操作语句（DML）将查询得到的结果插入到Hive的表中。Hi

7、veQL目前不支持更新（updating）和删除（deleting）表中的行。HiveQL还支持多表插入，用户可以对相同的输入数据使用一个HiveQL语句进行多维查询，Hive通过共享输入数据优化了这种查询。HiveQL也易于扩展，用户能插入用java编写的自定义的列转换和聚合功能。此外HiveQL允许用户嵌入自定义map-reduce脚本，这些脚本可以用任何语言进行编写，并且都是简单的基于行（row-bashed）书写的，比如从标准输入读入行以及输出行到标准输出。此特点就能将行转化字符串。我们省略了很多的细节，有关HiveQL语言的更多描述可以参考其手册。

8、1.2实例：StatusMeme我们现在展示一个简单