大规模气象数据布局自适应性的研究

《大规模气象数据布局自适应性的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据AThesisinComputerSystemArchitectureTheAdaptiveResearchofDataLayoutinLarge——scaleMeteorologicalDataStorageSystemByChenWenhuiSupervisor：ProfessorJiangXueyingNortheasternUniversityJune2012㈣Q呲1一㈣卫㈣删万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人

2、己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：≯孕文壁日期：≯，z．占：鸪学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年曰／一年口一年半口学位论文作

3、者签名：≯意义磐签字日期：沙f2·易‘刁两年口导师躲矛主多签字日期：加，2．；．驾万方数据东北大学硕士学位论文摘要大规模气象数据布局的自适应性研究摘要随着信息技术的飞速发展，人类社会活动越来越多地依赖于各种数字化信息。无论是个人的数据资料、企事业单位的核心运营数据，还是保证国家和社会正常运转的文件，都离不开海量信息数据的存储、处理和传输。特别是像我国这样受自然灾害影响非常为严重的国家，气象数据资料作为一种海量信息数据，以气象事业作为我国的公益事业，为国家安全、防灾减灾提供重要保障，受到了国家的高度重视。然而现有的大规

4、模气象数据存储系统中，气象数据应用实时性差，数据状态和存储、传送过程不透明，气象数据管理过于集中，气象数据的共享方式繁杂、自适应性差，数据质量保障能力差。针对上述这些问题，本文给出了一‘个大规模气象数据存储系统LMDSS的设计方案。该存储系统采用面向对象存储的分布式文件系统，并结合层次化CDN网络和虚拟化技术对气象数据进行存储备份，保证气象数据的实时性和安全可靠性。同时，针对该系统中气象数据存储设备和内容传输网络以及关键数据缓存器之间进行气象数据传输和重新布局的问题，本文提出了一种层次化一致Hash布局算法。该算法首

5、先将大规模气象数据存储设备层次性地划分为各个小存储设备集合，然后在各个小存储设备集合之间采用一致Hash数据布局算法，最后在每个小存储设备集合内部再次使用一致Hash算法，进行数据的再次布局，使气象数据公平地分布在每个存储设备上。该算法能够自适应存储设备的动态变化，有效地重新布局数据，快速定位数据，减少对气象数据存储设备空间的消耗，满足了国家气象服务系统准确性和实时性要求，并解决了在气象应用上传或下载气象数据时，访问和存储气象数据过程中出现的I／O瓶颈问题。因此，在大规模气象存储系统中，对气象数据进行有效地存储管理，

6、提高气象预报服务的准确性和实时性，增强区域气候的可预测性，实现天气预报业务系统的自动化、智能化是国家保障人民群众生命财产安全与促进社会和谐稳定一项基础工作，具有重要的现实意义。关键词：自适应性；海量数据；网络存储；层次化一致Hash布局算法II万方数据东北大学硕士学位论文Abs仃actTheAdaptiveResearchofDataLayoutinLarge-—scaleMeteorologicalDataStorageSystemAbs仃actWiththerapiddevelopmentofinformatio

7、ntechnology,human’Ssocialactivitiesarebecomingmoreandmoredependentonallkindsofdigitalinformation．Nomatterpersonaldata，coreoperationaldataoftheenterprisesandinstitutions，orfileswhichensuresthenormalfunctioningofthestateandsocietyareinseparablefromthestorage，proc

8、essingandtransmissionofmassinformationdata．Inparticular,likeChina，affectedbynaturaldisastersisveryserious．Meteorologicaldataasamassiveinformationdataandmeteorologicalcareera