资源描述：
《mysql,海量数据的存储和访问解决方案》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立mysql,海量数据的存储和访问解决方案 篇一：海量数据存储数据切分分布式 海量数据存储 摘要 在当今的信息化时代中，产生了海量的数据和信息资源，急切的需要一种技术对海量数据进行科学的高效率的进行管理。而利用数据库进行海量数据存储是目前运用的方法，但是如何运用数据库以及运用哪种数据库又显得格外重要。根据Mysql数据库的特点，本论文讨论了运用Mysql数据库进行大数据量的存储，以及利用数据切分进行数据
2、优化，来提高海量数据的存储效率。海量数据管理的前景虽然乐观，但目前仍存在很多技术上的难题需要克服。存储策略的研究侧重于空间效率的改进，本文讨论了利用数据切分进行分布式存储的方法。 关键词：海量数据；存储；查询;Mysql；分布式存储；数据切分 一、海量数据的研究现状 1、海量数据的定义 随着科技的不断发展，数字信息存储量在迅速的以指数规模进行增长，人们面对的信息量也越来越多，而这些数据被统称为海量数据。随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入
3、商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立海量数据都具有如下几个特点：（1）数据规模大；（2）对软硬件和系统资源的要求和占用率都很高；(3)增长速度快,元数据规模庞大；(4)数据类型多样,半结构化和非结构化数据比例大。 尽管目前学界对于海量数据的界限众说纷纭，但如果数据具备了上述四个特点中的三个包括三个以上时，一般就被作为海量数据处理了。 2、国际上海量数据的研究现状 对于目前愈来愈多的信息量，我们如何才能对这些海量数据进行高效的存储、组织、管理呢？这个问
4、题现已成为国内外研究的热点话题。在国外，一些科研工作者已经取得了突破性的研究成果。但需要指出的是,这 些工作一般有个共同点,那就是它们主要依托传统的关系型数据库的管理系统,以下两条技术路线,是它们主要的实现方法:①在关系型数据库管理系统中,利用引擎中间件来管理和处理数据,这条路线的主要推动力来自世界上规模较大的GIS厂商,ESRI的SpatialWare,ArcSDE和Maplnfo都是其中广为人知的代表;②对关系型数据库管理系统进行空间方面的扩展,以此帮助数据库管理海量数据。各大数据库厂商的在这条路线上进行了有力的推动,最著名的产品莫过于
5、甲骨文公司的OracleSpatialGeoRaster了。同类软件中,IBMDB2的SpatialExtender和PostGIS也是其中佼佼者,但美中不足的是,它们的管理能力都很弱。 3、国内海量数据的研究现状随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立 随着数据库规模的不断扩大，海量数据存储的数据库，也就会占用大量的磁盘空
6、间，因此查询的时间也就会大大延长。另外,根据局部性原理,数据的被访问程度并不是均匀分布的,实际情况是,最近的数据访问频率远远高于相对陈旧的数据。这就构成了査询过程中两对显著的矛盾:查询速度与数据总量之间的矛盾以及数据局部访问和全部访问之间的矛盾;在海量数据査询过程中,两对矛盾更是尤为明显。 目前国内一些学者关于关于查询策略优化的研究主要还是集中在针对物理层的存取方式的设计上,依靠硬件技术和性能方面来实现提高查询效率的效果的。而目前的网络存储技术主要有三种:以服务器为中心的直接连接存储(DAS:DirectAttachedStorage).以
7、数据为中心的网络连接存储(NAS:NetworkAttachedStorage)和以网络为中心的存储区域网络(SAN:StorageAreaNetwork)。随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立 而这三种方式也存在各自的缺陷：DAS模式的缺点:①扩展性差;②资源利用率低;③可管理性差;④异构化严重。NAS的缺点是:①占用网
8、络带宽;企业网NAS设备与客户机连接的中介,因此不管是备份过程还是存储过程,网络的带宽都会被占用一部分。②NAS的可扩展性受到设备大小的限制。SAN模式也有三个缺点
