多维分析技术在大数据环境下的发展

《多维分析技术在大数据环境下的发展》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。多维分析技术在大数据环境下的发展　　摘要：在大数据时代，涌现了大量基于Hadoop的多维分析技术，分析性能不断提升，该文选取了几项有代表性的技术进行了介绍，并分析了它们的特点。最后，对基于大数据的多维分析技术进行了总结和展望。　　关键词：多维分析；OLAP；大数据　　中图分类号：TP311文献标识码：A文章编号：1009--00

2、04-02　　1概述　　随着多维分析技术的发展，分析系统的数据量呈指数级增长，传统的多维分析技术无论在存储方面还是在大规模数据技术方面都遭遇到性能瓶颈，同时对数据分析的精确性和速度等要求逐渐提高，已经无法满足企业的要求。近年来，大数据技术得到了快速的发展，分布式文件系统HDFS和MapReduce编程模型成为了应对海量数据的有效技术，Hadoop生态圈的迅速成熟，Hive、HBase、HadoopDB等NoSQL等技术相继出现，上述技术都提供了海量数据多维分析功能，在各领域得以广泛应用。本文在综述多维分

3、析技术发展的基础上，重点对几个有代表性的多维分析技术进行了介绍。可以预见，未来在大数据多维分析系统中，这些技术会在市场中占有重要位置。　　2传统多维数据分析技术介绍为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟

4、悉系统的使用和维护。　　多维数据分析技术是对数据的收集、管理和分析的过程，通过它使企业的数据分析人员获得知识，为公司做出决策提供重要的支持。多维分析系统的后台通常是由数据库或数据仓库存储数据，经过OLAP服务器实现数据分析，而前台通过图表、表格等展示工具来为用户展示，它是多种计算机技术和信息处理技术的组合，技术主要包括：数据库和数据仓库技术、数据抽取转换加载技术、联机分析处理技术、数据挖掘技术、前端展现技术等。　　联机分析处理是一种共享多维信息的快速分析技术[1]，也是进行多维分析的重要技术。OLAP定

5、义了事实表和维表，通过事实表和维表构建多维数据模型，然后经过OLAP服务器将数据存储在OLAP服务器或者数据仓储中，数据分析人员可以通过前端展示工具，从多个维度的组合、粒度的划分等等将数据以图表的方式展示出来，供决策人员和高层管理人员进行分析。OLAP可以完成的查询操作有多表关联，可以使用聚合函数如count，sum，avg等，它的多维分析操作还有切片、切块、钻取、旋转等，提高了分析的灵活性，满足了不同分析的需求。　　OLAP的数据存储格式主要有3种形式[2]，分别是ROLAP，MOLAP和HOLAP。

6、　　3大数据环境下的多维分析技术为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　传统的多维分析系统也存在着许多不足，业务要求经常改变，这样就导致将业务模型也进行调整，而业务的维度和度量一旦

7、发生变化，OLAP中的多维数据模型也需要重新构建；业务人员在同一个模型上进行多维分析，同时也限制了�I务人员分析问题的角度，从分析数据中隐含的信息变成了普通的日常报表；数据的大量增加使传统的多维分析系统快速准确的工作。　　使用Hadoop[4]进行多维分析，首先能解决上述问题，HDFS有着优秀的高容错和高吞吐量的特点，可以存储的文件支持高速增长的数据，解决了数据存储问题；其次MapReduce[5]有很强的分布式并行化处理能力，在上千台机器组成的集群上运行处理大规模数据，它并不会由于数据的增加使开销大大

8、增加，可以很好的完成OLAP的计算工作。总之，Hadoop可以支持各种结构和非结构的数据存储和计算，包含了各种各样的维度组合，即使维度的数量大大增加，也不会显著影响分析的性能。　　Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台，以此为基础，出现了大量基于大数据的多维分析方法[6]。　　Hive为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教