资源描述:
《基于学习的数据流top-n查询处理》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、河北大学硕士学位论文基于学习的数据流TOP-N查询处理姓名:曹智强申请学位级别:硕士专业:计算机应用技术指导教师:朱亮2011-05摘要摘要通过对数据流的研究,我们知道数据流具有实时性、持续性、广泛性、语义不定性等特性。本文首先总结了传统技术的优劣,如:直方图方法、抽样方法、哈希方法、小波方法等。在此基础上并根据数据流的特性,本文提出了使用基于时间滑动窗口模型的方法改构建概要数据库的方法,该方法很好的克服了传统技术在处理数据流问题上的局限,从而为使用基于学习的TOP-N查询解决数据流问题提供了可能。然后,本文分析了传统的TOP-
2、N选择查询的优劣,并在此基础上提出了基于学习的TOP-N查询的方法。该方法首先需要建立一个知识库,用来存储查询简档。在知识库建立完成之后,直接对知识库进行检索即可。检索知识库时,需要首先计算出区域分布密度ρ,然后根据区域分布密度ρ计算出查询半径r,从而可以近似地得到符合要求的N个查询结果。当有一批新近的数据到达时,还需要运用某种策略,分别对概要数据库和知识库进行更新、维护。关键词数据流滑动窗口模型概要数据库TOP-N查询知识库IAbstractAbstractThestudyofdatastream,weknowthatdata
3、streamwithreal-time,continuity,universality,semanticuncertaintyandotherfeatures.Thispapersummarizestheadvantagesanddisadvantagesofthetraditionaldatastreamprocessingtechniques,suchas:histogrammethod,samplingmethod,thehashmethodandWaveletmethod.Basedonthesemethodandacc
4、ordingtothecharacteristicsofdatastream,thispaperproposestheuseofbasedonslidingwindowmodelconstructedthesummarydatabase,thismethodovercomethelimitationsofthetraditionaltechniquedealingwithdatastreamproblem.MakeuseTOP-Nquerybasedonlearningsolvethedatastreamproblemsprov
5、idepossible.Then,thepapersummarizestheadvantagesanddisadvantagesofthetraditionalTOP-Nquery.Basedonthesemethod,thepaperproposesaTOP-Nquerybasedonlearning.Themethodfirstneedtoconstructaknowledgedatabasetostorethequeryprofile,aftertheKnowledgedatabaseEstablished,searcht
6、heknowledgedatabasedirectly.Knowledgedatabaseinthesearch,youmustcalculatethedensityρ,thencangetthequeryradiusrbythedensityρ,thuswecangettherequirementsoftheNresultsapproximate.Whenanewbatchofdataintothesummarydatabase,weneededtousesomestrategyupdatetheknowledgedataba
7、seandthesummarydatabase.KeywordsdatastreamslidingwindowmodelsummarydatabaseTOP-NqueryknowledgedatabaseII第1章绪论第1章绪论1.1研究背景与意义传统数据库技术在20世纪得到了非常成功的发展和应用。随着数据库广泛的应用和发展,数据库的建模形式变得多样,从层次数据库、网状数据库,到关系数据库等等[1];同时,数据库的规模也越来越大。在传统数据库技术中,数据存储在介质上,可以多次被利用;用户通过提交数据操纵语言(datamanipu
8、lationlanguage,简称DML)来获取[2]相应的查询结果。但是近年来,在一种名为数据流的模型中,数据持续到达,且速度快、规模宏大、语义丰富,在众多领域得到了广泛的应用,例如网络安全、网络监视、日志分析、电子商务、金融服务、数据管理、传感器网络、Web