大域数据流管理技术研究

《大域数据流管理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、StudyonManagementofMassive-DomainDataStreamsPresentedbyZhaoFeiSupervisedbyAssociateProfessorLiuQizhiADissertationfortheApplicationofMasterDegreeDepartmentofComputerScienceandTechnologyNanjingUniversityMav2011声明户明本人声明所呈交的论文是我个人在导师指导下、在南京大学及导师提供的研究环境(含标明的项目资

2、助)下作为导师领导的项目组项目整体的组成部分而完成的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。南京大学及导师所有权保留：送交论文的复印件，允许论文被查阅和借阅；公布论文的全部或部分内容：可以采用影印、缩印或其它复制手段保存该论文。学生签名：导师签名：日期：DeclarationImakeadeclarationherethatthethesissubmittedi

3、scomposedoftheresearchingworkbymyselfanditscorrespondingresearchingresultsfinishedasaconstituentpartofthewholeprojectintheprojectteamleadedbymyadvisor．Thethesisiscompletedwiththeguidanceofmyadvisor,andundertheresearchingcircumstancesofferedbyNanjingUnivers

4、ityandmyadvisor(includingtheprojectsupportindicated)．Thethesisdoesnotincludeotherpeople’Sresearchingresultseverpublishedorcomposed，exceptthatalespeciallyannotatedandacknowledgedsomewhereinthearticle．Anycontributionmadetotheresearchbymyworkingpartnersisdecl

5、aredexplicitlyandacknowledgedinthethesis．NanjingUniversityandtheadvisorretainthecopyrightasfollows：submittingthecopiesofthethesis，allowingthethesistobeconsultedandborrowed；publicizingthewholeorpartofthethesis’content；keepingthethesisbyphotocopy,microcopyor

6、othercopymethods．AuthorSignature：AdvisorSignature：Date：南京大学硕士学位论文大域数据流管理技术研究摘要近年来，随着新的数据采集方法的使用，产生了一种新的密集型数据集一数据流。由于数据流是连续、无限、随时间变化的数据序列，所以通常不便采用传统的数据库管理系统管理数据流。为解决数据流的管理问题，国内外学者进行了大量的研究，提出多种数据流模型，并实现了相应的数据流管理系统。然而，这些模型和系统往往只适合常规数据流的管理，不能很好地管理一些特殊的数据流。大域数据

7、流作为数据流中的一种特例，其部分属性的取值范围很大，因此，所面临的管理问题比一般的数据流要严峻得多。数据流应用场景对数据的处理速度要求很高。属性的取值范围很大，不仅会导致数据集庞大，还会增加概要设计的难度。相比一般的数据流而言，大域数据流的数据概要存储压力更大。本文首先基于最小计数概要(Count．MinSketch)技术，研究大域数据流的存储管理方法。其次，由于数据采集传感器的性能、网络传输带宽及环境的影响，数据流普遍存在不确定问题。这种不确定问题通常表现为数据流的某些属性值的缺失。对于大域数据流中的缺失

8、数据，难以采用邻近值填充等传统方法进行填充，也不能轻易删除。本文基于Count．MinSketch技术，提出最小频率概要(Frequency-MinSketch)，设计并实现了填充大域数据流缺失值算法(FillAbsentValuebasedonCount／Frequency-MinSketch，FAV-CFM)。第三，数据流的聚集查询是目前数据库领域的研究热点之一。聚集查询是数据流应用中一种重要且耗时的操作。而