海洋环境监测数据建模及索引技术研究

《海洋环境监测数据建模及索引技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10264研究生学号：M130502788上海海洋大学硕士学位论文海洋环境监测数据建模及索引技题目：术研究ResearchonDataModelingand英文题目：IndexingTechnologyforMarineEnvironmentMonitoringData专业：计算机科学与技术研究方向：大数据存储与查询研究姓名：孙乐指导教师：黄冬梅二O一六年五上海海洋大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经明确注明和引用的内容外，本

2、论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日上海海洋大学硕士学位论文答辩委员会成员名单姓名工作单位职称备注吴耿锋上海大学教授主席邹国良上海海洋大学教授委员何世钧上海海洋大学教授委员王振华上海海洋大学副教授秘书答辩地点信息学院201室答辩日期2016.5.21上海海洋大学硕士学位论文海洋环境监测数据建模及索引技术研究摘要近年来，随着信息技术的不断更新，尤其是信息获取技术、互联网、物联网以及社交网络等技术的突飞猛进，导致

3、了各行业数据量的急剧增长，企业及互联网数据以每年50%的速率在增长，据保守估计，目前每年全球至少产生15亿TB的新数据，行业大数据已经成为目前研究的热点。海洋发展战略在国家战略的地位日益突显，海洋领域的各类应用对推动海洋信息化发展具有重大的意义。海洋环境监测手段及设备的多样化和广布局，包括：浮标、卫星、遥感、传感器、监测站等实时数据源采集不仅造成了数据量的密集增长，同时数据呈现出异构性、海量性、多样性、实时性、相似性等特征，因此海洋数据无疑成为大数据的典范。针对该领域数据特征，深入分析数据模式，研究高效的数据存储、划分及查询策略是目前亟须解决的

4、海洋应用问题。海洋数据的异构、多样、复杂等特征，使得数据的存储模式脱离关系型结构，给数据的快速查询和高效利用造成了应用难题，带来了如下问题：如何无需手动调整低层次的视觉及内容细节，以完成表格数据的合理划分及关系转换，从而实现给定领域内其结构化存储。海洋数据的海量性、相似性及空间相关性等特征，给海洋应用（如极地在线考察、怪潮灾害反演）上的数据快速获取和查询造成了巨大I上海海洋大学硕士学位论文的壁垒，带来了如下问题：1）如何对数据计算节点进行动态划分，以适应海洋应用高性能计算、强实时反馈、高频度查询等需求；2）如何建立面向海洋领域的多层索引结构，从

5、而满足多源数据实时查询响应需求，加快了海洋数字化和信息化进程。为此，本文分别提出了全局划分和局部划分策略，在此基础上实现了主从索引机制，从而提高数据的利用率及海洋应用的查询效率。深入学习海洋数据特征，以数据为样本研究分布式存储及索引技术是解决目前应用壁垒的有效途径。针对上述问题，本章节从如下技术路线来优化数据的存储和查询问题：数据建模、数据划分及索引结构，其主要创新及研究内容描述如下：1、对海洋数据存储及表示形式进行描述，面向Excel、CSV等不具有明确结构的特殊非结构化数据，提出了一种新的基于Tabular库的关系数据模型并讨论了其上的查询

6、及优化问题。本文利用PartiPath划分树，保留表格的语义信息，对表格的关系划分及结构转换，形成数据模式。在此技术上定义了表单数据上的基本查询问题及融合用户兴趣指数改进查询相似度指标，以满足特定查询需求。2、针对数据存储中的关键问题——数据划分，本文首先通过训练采集数据获取数据的特征及内部规律，根据其空间自相关性及分布特征等，制定基于AMSP的全局划分策略，将符合特征描述的数据转移到各分布式结点上。其次以需求为导向和用户行为为基础，制定基于AMSP的自适应局部划分策略，该策略能及时转移局部数据，保证存储节点的深度一致及平衡。基于ADMD和AM

7、SP的划分模式，II上海海洋大学硕士学位论文设计多层索引结构能显著提高数据的利用率及数据池的访问效率。3、在上述数据划分的基础上，本文提出一种主从索引架构体系，+基于AMDM的时间间隔B-tree索引作为全局索引；基于AMSP的L-RR*树作为局部索引。在此基础上查询处理研究主要分为两个步骤：首先，查询接收器通过时态主索引找到所有与之相关的节点，并建立查询链接。第二步，执行并行化的局部索引搜索模式，并最终的信息返回到客户端。对比实验验证，本文结合实际应用场景论证了该技术架构的合理性，该结构满足了大批量多源数据实时查询响应及查询服务并行运算处理的

8、需求。关键词：海洋大数据，数据建模，数据索引，数据划分III上海海洋大学硕士学位论文ResearchonDataModelingandIndexing