大数据环境下数据查询优化技术应用研究

《大数据环境下数据查询优化技术应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、；－）巧Ｖ：。焊野；璋叛；瀑痒￥心Ｖ濟掛热＇■＇＂－：．Ｉｆ，＇＇＂：＇芭＾．．＾巧式化典稱禱堪孔盈Ｓｆ海鴻纪禹诉當式之、＾’＞骑兰弓、；？，‘■＇纏｜、－＂ｔ－－－ｒ：；：■：ｒ一一．；■ｒ？＇＇？’ｔ々＾■■－．：／：：；．Ｖｔ知．；ｊ遲游ｒ／兼冷苗起；Ｗ＇＇＇＊＂‘－？■＇‘．．．？門予１一、．＇．＇产＇’：：．；．．；＇．’．奋．山扛７．＇ｖ．：：．■．：．貧．矿，＇诉：＾？Ｖｉ；片—ｉ咕句，：硕：ｔ巧究生学位论文义二，户占

2、’‘‘，一Ｖ’ｖ大数据环境下数据查省化化技采／应用研究：；某．肚：．．《．苗續．，．貧＇，’＇－学生名王照清／－—，ｙ＇ｆ＇；游、＇、学納号２０’１３３０９０４０１１６’式掉八：心输Ｖ．‘－、感．（专业学位）计算仇技术，／；＾＾＇媒巧ｋ‘，—’夺’研究方向歎据处理技术与软件服务，：诚豁导卸－一ｆ：巧；兵，；，韩：；：斯；—：；刻議户－？‘Ｖ校外导’师草／，与—嚷一。＊’－、：＂＇处１Ｖ？Ｖ２０Ｕ，；，年５２２日扣Ｌ？Ｔｃ巧＿；：巧；，；．

3、‘、、＇－三‘：，：’气乾部‘．Ｖ却’‘：…．‘、…－＊，，ｖ，、一、＞：？－＇：＾Ｖ；一，、兴Ｖ，，ＶＸ北方工业大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中Ｗ明确方式标明。本人完全意识到本声明的法律结果由本人承担。。。学位论文作者签名，：至＾锻為日期；文化年月７日学位论文使用授权书学位论文

4、作者完全了解北方工业大学有关保留和使用学位论文的规定，巨Ｐ：研究生在校攻读学位期间论文工作的知识产权单位属北方工业大学。学校有权保留并向国家有关部口或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅，；学校可公布学位论文的全部或部分内容可允许采用影印、缩印或其它复制手段保存（保密的学位论文在解密、汇编学位论文后适用于本授权书）。□保密论文注释：经本人申请，学校批准，本学位论文定为保密论文，密：：年级，期限，自年月日起至年月日，解密后适用本授权书止。：，适用本授权书＾非保密论文注

5、释本学位论文不属于保密范围。長也為。化＇本人签名：日期：之导师签名：日期；大数据环境下数据查询优化技术应用研究摘要伴随着移动互联网的发展，移动终端的使用量也急剧的增加。大量的移动终端产生了海量的数据，。这些数据体量大、种类繁多既有非结构化数据又有结构化、半结构化数据。而且，这些数据组成的数据集的大小超出了现有典型数据库软件和工具的处理能力。Ａｗｅｂ本课题依托的应用由安卓ｐｐ、微信公众平台Ｗ及服务组成。应用将来会面向全国推广，会有大量的用户，应用的安卓Ａｐｐ。由于未来可能用户量巨大

6、将会产生海量的结构化数据，微信公众平台将会产生海量的非结构化数据。应用。通过对这些数据进行查询分析，为用户提供更好的服务因此如何有效的存储应用产生的结构化数据Ｗ及非结构化数据，并且使这些数据能够进行有效的查询分析是本课题研巧的关键。在结构化数据方面，，根据应用的特性对各个数据库的特点分析后，选择ＭｙＳＱＬ数据库存储数据。根据应用数据量大的特点义Ｌ及数据的结构和特性，对数据进行垂直切分和水平切分，并利用索引技术、并行处理技术对查询进行优化。一此外，针对大数据量时多表分页查询缓慢的特点，本文提出种新的多表

7、分页查，对应用多表分页查询进行了优化询算法。在非结构化数据方面，通过对比各种ＮｏＳＱＬ数据库的特点及分析应用数据的特性选择ＭｏｎｇｏＤＢ存储数据。本文首先研究ＭｏｎｇｏＤＢ的各种分片策略，结合数据＾心及业务的特性，选择了合适的片键和分片策略。接着研究了普通索引，通过分析文档的结构和地理空间索引。然后，结合主键的特性建立合适的文档，对分页查询语句进行了优化结构。最后。本文通过Ｗ上研究和设计、实现，建立了合适的数据存储结构并对查询进行了优化，为课题应用移动终端数据的存储和查询提供了解决方案，。最后本文

8、通过实验对上工作进行了验证。关键字：大数据，数据切分，索引，并行处理ＩＲｅｓｅａｒｃｈＡｎｄＡｌｉｃａｔｉｏｎ饼ＤａｔａｕｅｒＯｔｉｍｉｚａｔｉｏｎｐｐＱｙｐＴｅｃｈｎｏＩｌｏｇｙｎＬａｒｇｅＤａｔａＥｎｖｉｒｏｎｍｅｎｔ