内存技术所带来的变革-论文.pdf

《内存技术所带来的变革-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、EXCHANGEOFEXPERIENCE经验交流内存技术所带来的变革◆王小玲摘要：数据仓库意味着其中存储有海量数据，这些数据分层次，按照不同粒度存储。随着数据的膨胀，若不考虑从数据仓库的模型设计来进行优化和调整，可采用硬件的成本优势从技术体系架构上来优化数据仓库的海量数据查询及分析的性能。这就是近年来很热门的内存技术。本文从内存技术的发展及相关案例上进行了一些研究，探讨了内存技术给数据仓库带来的变革及对相关应用所产生的影响等问题。关键词：DW；BI；OFF—LINE；OLAP工具QlickView。该工具因其轻量级的快速应用而受到好评。引言如今，各大厂商纷纷涉足内存计算及其应用。大

2、数据的数据仓库随着企业应用的不断深化面临着数据增长的提出更进一步推动市场上内存计算应用解决方案的发展。在问题。海量数据的管理使得本身成本就高的数据仓库变得愈此所说的内存计算应用解决方案是包含了硬件、软件和实施加昂贵。同时伴随海量数据所引起的性能问题，数据仓库之一体化的整体解决方案。上的商务智能系统发展和应用受到严重制约。采用压缩和归二、内存计算所引发的问题档的方式将不再使用的数据放人OFF．LINE系统会存在无法进行长周期的数据分析，如果要及时提取这些OFF．LINE数2．1应用方面。首先是对传统数据仓库及商务智能应用据，仍然代价不菲。所以，内存技术的出现无疑是商务智能的影响。原有

3、的数据仓库是基于传统的数据库体系结构建立应用的加速器。在这种情况下，本文探讨内存技术与传统数的，不管我们说MOLAP(多维OLAP)还是ROLAP(关系据库及数据仓库技术的不同，及由此带来的对企业数据仓库型OLAP)，都是存在非实时数据分析和磁盘I／O瓶颈的。有应用的冲击和影响。了内存计算，颠覆以前的体系结构，那么现在应用的数据仓库系统何去何从?一、内存计算概述分两方面来看，如果一个企业在建设数据仓库时业务逻传统的数据库系统被设计运行在有限内存的计算机系辑独立于系统架构，那么将原有传统系统架构迁移到新的系统，主要由于缓慢的磁盘输入输出是数据吞吐量的主要瓶统架构上即可。最有价值的业务

4、逻辑仍然需要在新的系统架颈。因此，这些系统结构的设计成关注于优化磁盘访问，例构上得到实现，越独立其影响越小。否则，企业需要从头建如通过最小化读人内存的磁盘块(或页)来处理查询语句。立一个新的数据仓库应用，无疑又是一次大的投资。近年来，计算机体系结构已经发生变化。现在多核处换个角度来看，对于那些根本没有应用传统数据仓库的理器(多个处理器集中在一个芯片上或是一个包)已成为标企业来说，新技术确实带给他们新的机遇，直接采用内存计准，伴随着因处理器内核之间的快速通信而实现的并行处算的解决方案使他们有了与信息化先进企业站在同一起跑线理，主存已经不再是有限的资源，现代服务器能拥有达到上的机会。2

5、TB的系统内存，可以使整个数据库进驻在内存中。目前服内存计算的实时性是否能提高用户进行数据分析的积务器处理器有多达64个内核，并且128个核心即将问世。随极性?传统数据仓库应用面临的问题之一是实时性受到较大着内核数量的增加，处理器在每次时间间隔可以处理更多的的质疑。如果数据在从系统中呈现到我面前之前我就已经获数据。这样把性能瓶颈从磁盘输入输出转移到了处理器缓存知这些数据信息的话，那么谁还愿意去从系统中看呢?如果和内存数据传输上[2】。OLAP系统能实时抽取数据的话，能保证各种报表出具的及内存计算所代表的几个特点：1)缓存优化的内存数据时性，能更好支持商务智能和决策。库。将所有相关数

6、据存储在内存中，减少磁盘读入读出时2．2成本方面。前述内存计算主要随内存成本降低而大间。也要考虑内存存储数据的及时保存，避免掉电损失。范围得到应用，当然，我们也不能忽视大数据的需求对其的2)支持并行执行。3)基于列式和行式的存储。4)实时分推动。内存计算应用解决方案是否确实能带来成本的降低?析和计算。这里所说的成本不仅包括硬件设施、也包括软件应用开发的由此可见，内存计算是随着计算机体系结构的变化及便捷性等内容。硬件成本的降低而得以迅速应用起来的。其实lO年前就有内传统的数据仓库都采用大型机作为应用和数据库服务存计算和列式存储，但是因成本问题并没有向现在这样受关器，新技术方案的应用将

7、替代大型机，确实能降低硬件方面注。如在2009年曾被Gartner评价为最具潜力的商务智能分析的性能。(下转130页)112信息系统：翻呈j20147．20