MATLAB中海量数据的存储技巧-论文.pdf

《MATLAB中海量数据的存储技巧-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ACADEMICRESEARCH学术研究MATLAB中洛量数据的存储技巧◆景杨余超陈艳匡恒摘要：本文针对MATLAB~N海量数据过程中常常出现的“outofmemow”问题进行分析，探究了MATLAB中的数据需要连续内存空间存储的机制。从问题本质出发，找到了有效增加可用内存——扩充虚拟内存方法和适当减少内存消耗的若干方法来规避内存溢出问题的出现。关键词：MATLAB；海量数据；内存溢出；数据存储机制；虚拟存储空间大小为800M的连续空间，从而看出矩阵存储对连续内存空一、引言间的要求很高。MATLAB全称MatrixLaborati~，顾名思义“矩阵实验2．3错

2、误原因分析室”——以矩阵和数组为核心，提供了大量的内置函数以便发生此错误一方面是因为硬件本身内存不能满足大型进行算法开发、数据可视化、数据分析及数值计算等操作，矩阵存储，例如若在一个内存总和较大的存储空间中碎片过是一种交互式的应用开发环境。相对于较传统的C、C++或多，则意味着此空间中最大连续内存空间不是很大，这样，者FORTRAN语言，MATLAB提供高效快速求解各种科学计当元素较多的矩阵进行存储时就可能没有足够的空间来存储算问题的方法，其中，数学计算功能是MATLAB的重要组而发生“outofmemow”错误提示。成部分，也是最基础的部分，包括矩阵运算、数

3、值运算以及另一方面，还可能因为程序设计考虑不周全和一些坏的各种算法。但是，我们在使用时常常遇到“outofmemo~”编程习惯导致错误提示。例如在设计一些变量较多的复杂程的错误提示使我们束手无策，相信读者起初和我有一样的困序时，如果不及时释放一些不再会用到的变量所占用的内存扰：这是一种怎样的错误呢?这样的错误如何避免或者解决时，随着程序的运行，变量越来越多，内存中的碎片也越来呢?类似这样的问题我们将在本文进行讨论。越多，此时再去存储大型矩阵时将会发生此类错误。二、处理海量数据出错分析三、处理“outOfmemo~”错误的方法2．1海量数据3．1有效地增加可用内

4、存的方法对于用户来说，凡在PC机上处理数据时遇到“outof由上文可知出现“outofmemo~”错误的本质原因是所memow”错误提示的数据量均可称为海量数据，即数据量很需连续内存大于系统所能提供的内存，所以，我们首先想到大，他是相对于当前计算机处理能力而言的，不同的应用领的是如何增加内存使问题得到改善。一个显而易见的解决方域，不同的学科以及不同的硬件条件下海量数据所呈现的数法是从物理上增加内存容量，但是这往往会受到机器自身的限制，而且无疑要增加系统成本，因此这种方法是受到限制据量也不尽相同。在科学计算中，我们所使用和分析的数据的。另一种方法是从逻辑上扩充内

5、存容量，这就用到了虚拟量越来越多，如何能利用有限的计算机硬件资源进行快速的海量数据分析成为我们研究与计算的第一步，所以通过了解存储技术。MATLAB中数据存储机制而发现其出错的根本原因可以让我所谓的虚拟存储器[5]，是指具有请求调入功能和置换功能，能从逻辑上对内存容量加以扩充的一种存储器系统，其们更好的解决这个问题。2．2M．ATLAB数据存储机制逻辑容量由内存容量和外存容量之和所决定，使用户看到的由文献[3][4】可知MATLAB~建大矩阵维数与三个因素内存容量远远大于实际内存容量。由于32位Windows操作系统的限制，每个进程最多只能使用2GB的虚拟内存

6、地址空有关，分别为MATLAB位数、计算机分配给MATLAB的内间，因此MATLAB的可分配内存也受到相应的限制，所以可存空间和创建矩阵的数据类型。MATLAB有32位与64位，以利用Windows的3GB开关使每个进程可以多分配1GB的其所能创建的矩阵维数分别为=1维与维；在MATLAB中可以通过调用memory函数来查看其能利用的最虚拟内存空间。大存储空间；而在MATLAB中创建矩阵时所有的元素是放置3．2减少内存消耗的方法在一片连续的内存空间的，可调用~aturememostats查看连续不合理的编程技巧和习惯同样致使“outofmemow”错误的出现，

7、所以，在资源有限的条件下我们如何应用高效的内存空间大小；例如在MATLAB中默认用double型来表示数编程技巧来提高程序质量是规避此错误的关键，参考文【2】结据变量，一个数字需要占用8B的存储空间，矩阵占用的内存空间用矩阵数据元素的个数与每个数据占用的字节的乘积表合自已的实践概括如下：示，这样，在存放一个10000阶的double型矩阵时就需要一个(1)在读取大型数据文件时，我们需要的并不是整体信息系统工程l20144．20143ACADEMICRESEARCH学术研究而只是部分数据，此时可以有选择的进行导人避免“冗余”碎片增多，随着程序的运行就可能发生“o

8、utofmemory”的错数据占用宝贵