海量数据存储与查询策略的优化研究

《海量数据存储与查询策略的优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大连海事大学硕士学位论文海量数据存储与查询策略的优化研究姓名：娄希安申请学位级别：硕士专业：管理科学与工程指导教师：陈佳201206中文摘要摘要在全面信息化的过程中，声硅了海量的数据和信息资源，非常需要一种方法对海量数据进行科学高效的组织、管理和使用，以满足日益多样的业务应用，同时提高信息资源的管理效率。国内外的分析表明，海量数据管理水平将成为下一轮衡量企业生命力的指标之一。海量数据管理的前景虽然乐观，但目前仍然存在着很多技术上的难题需要克服。存储策略的研究侧重于空间效率的改进，而查询策略侧重于时间效率的提高，不能综合地发挥出系统的整体优势。本文从这一角度出发，以海

2、量数据作为研究对象，研究海量数据存储策略与查询策略的优化。论文首先分析了国内外学者取得的主要理论研究成果，总结了现行主要的存储和查询策略的特点，针对现有研究中存在的问题，提出了优化的内容和目标，接着从海量数据生命周期出发，深入研究了表分区，基于对象存储，查询分解等多项关键技术，然后，提出了利用表分区技术的基于对象存储优化策略和基于查询分解的查询优化策略。而后，针对这些关键技术迸行了一系列的探讨，通过研究得出优化策略的基本方案，同时把分布式环境确立为策略验证的环境。最后，在模拟环境中实现了存储部分的配置信息、文件信息和读写操作功能，查询部分设计实现了查询分解、查询优化

3、和结果合成功能；通过以上模块的综合作用，完成了对优化策略的可行性的验证工作。本文从全面信息化的实际需求出发，通过对常规理论的深入研究，提出了海量数据的存储和查询的优化后的策略，并模拟环境中进行了验证；该优化策略平衡了系统的时间效率和空间效率，最终实现了系统优化的预期目标，具有一定的应用价值。关键词：海量数据；存储；查询；优化策略ABSTRACTIIlmeprocessofoverall幽衄atization，tllerearemass0fdataandlnfomatlonresoWcesproduced，，soitneedsakindofmemodt0o唱aIliz

4、e，mallage啦usettlemaS8datasci肌tificallyande伍ci铋tly，t0mectiIl饿砒l西ydiVerseb_uSiness印plicanon，aIl9at恤s锄e缸eimprovemeemcieIlcyofmallag锄entofnleinfonIlatlonresom媚·neaIlalvSisbomathomeandabroadshowsmat，manag锄ent1evclof。massdataw1儿bec∞∞缸埘eXmatmeaSuredmeerlterprise、，ital埘i11meneXtr0硼【d·A1t110u曲t

5、：Ileperspe曲veofmaSsdatamallagemell“soptimiStic，butnowmerearestillalototteClmiCadchalleIlgest0overcome．Tllestoragestrateg)，researchfocusesonmeirnprovementofmee伍cieIlcyof廿lespace，andtllequerys仃ateg)，幻cusedon咖rovingmee箭ciellcyof缸e，itcannoteXpressadV撕ges‰oVeraIlsyst锄comprehensively．砸st11es

6、is舶mthisa11酉e，tal(ingmassdata嬲merese砌obje魄咖diesm嬲sda协meoptilIlizationofStorage雒dinqu№ss仃ate夥nlismesisf删y撇alyzedm萄0rmeoryresearChofsch01arSbomathome姐dabroad．sum加arizedmech觚蛾eristicsofmec11rreIl_tmaillstorageandmqulresstrate鼢invie、)l，oftlleexistingprobleInsiIl廿lec11ITentresear也putfonⅣ莉me

7、contentsa11dtargets“meoptilllizatbn’men矗．ommepointoflifecycleofmaSsd帆tlle廿1eslsreseardledonm缸lykeyteclm010孚es协cluldingtablepamtion，storagebasedonobJect，illquireSdecompositionandS0oll，a11dnleIlputfo刑棚storage0ptiIIllzationstrate科b嬲edonobjectbyllsingmetecIlllolog)rstrateg)，baSed0nd删osit