复杂数据流分析关键技术研究

《复杂数据流分析关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201171739学校代码10487密级硕士学位论文复杂数据流分析关键技术研究学位申请人：胡翔学科专业：通信与信息系统指导教师：张士军副教授答辩日期：2014年1月万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringTheResearchofKeyTechnologyinComplexDataStreamAnalysisCandidate：HuXiangMajor：Communication&Information

2、SystemSupervisor：Assoc.Prof.ZhangShijunHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaJan.,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书

3、本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密，在年解密后适用本授权书。本论文属于不保密。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要近些年，在传感器网络、互联网监控、金融交易等领域，出现了数据流分析的应用需求。然而，传统的数据处理方式不能很好地解

4、决这种数据流分析应用，针对这些应用的数据流分析技术在学术上和工业上都受到了高度关注。随着复杂数据流分析的需求增加，研究复杂数据流分析的关键技术也越来越重要。在进行复杂数据流分析时，现有的解决方法通常是设计特定的复杂概要数据分析算法来解决。但对于越来越多的各种复杂数据流分析应用，每次都开发相应的分析算法来解决的方式显然不能很好地满足需求，一种更好的方式是重复利用一些比较通用的分析算法，通过与其他算法的组合来完成复杂数据流分析。然而，在组合分析时一个分析算子的输出数据如何很好地传给后续分析算子的问题需要得到解决，也就是两个算子之间的数据交换问题。结合数据流

5、分析要求的高效的时间空间性能，设计了较为高效和通用的数据交换方式。数据交换采用了基于模式匹配的星状交换方式，该方式中需要解决中间数据模型，数据模式的描述，模式匹配过程和模式转换描述几个关键问题。结合数据流分析中关系数据和复杂数据的不同特点，设计了中间数据的元数据模型；同时设计了基于XML标签对该数据模型中的数据模式进行描述；给出了模式匹配的两个要点：结构匹配与类型匹配，同时为了最佳匹配考虑了名称匹配的问题；最后利用可根据数据模式预分配实际数据的特点，设计了简单高效的模式转换描述。介绍了研究中实现的数据流实时分析平台系统，同时介绍了其中数据交换的测试分析

6、。对于复杂数据流分析中数据交换的设计能够比较高效和通用地解决组合数据流分析中的数据交换问题。关键词：复杂数据流分析；数据交换；数据模型；模式描述；模式匹配I万方数据华中科技大学硕士学位论文AbstractInrecentyears,inthefieldofsensornetworks,Internetmonitoring,financialtransactions,therehasbeendemandfordatastreamanalysisapplication.However,thetraditionaldataprocessingmethodca

7、nnotsolvethisdatastreamanalysisapplicationsverywell,sodatastreamanalysistechniquesfortheseapplicationsintheacademicandindustryfieldsaresubjecttoahighdegreeofattention.Withincreasingdemandforcomplexdatastreamanalysis,keytechnologiesincomplexdatastreamanalysisareincreasingimportan

8、t.Tosolvecomplexdatastreamanalysis,theexistings