硕士论文-环境监测中的数据流处理技术研究与实现

《硕士论文-环境监测中的数据流处理技术研究与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、国防科学技术大学硕士学位论文环境监测中的数据流处理技术研究与实现姓名：李琳申请学位级别：硕士专业：信息与通信工程指导教师：陈宏盛20071101国防科学技术大学i舞究生院学位论文摘要随着信息处理技术在通信、工业生产、商务处理等领域韵广泛应用，数据已不拘泥于传统的静态形式，“连续数据流”模型的出现对传统的数据管理技术提出了巨大的挑战，已有的数据库技术无法对流数据进行有效的管理，必须针对流数据的特性，进行数据流管理耨技术的研究。墨前，数据流管理技术的研究已成必数据痒界的一个研究热点。研究数据流相关技术不

2、仅有重要的学术价值，而且有着巨大的应用前景。大型物资管理综合信息系统需要采用温度、湿度传感器、烟感等多种传感器设备对环城进行监测，这些传感器数据都体现为动态的连续数据流形式。针对这些传感器数据的查询处理与管理需求，本文从连续数据流上的连接聚集查询展开讨论，首先针对传统，-A算法在处理数据流连接聚集查询时存在着效率低下的问题，提出了一种改进的J&A+算法，这种算法利用前一次的聚集结果和查询两次执行之阆滑动窗口的变化量来计算新的聚集值，可以在消耗较少蠹存的情况下提供高效准确的查询结果；其次在j&r算法的

3、基础上，继续提出了一种面向环境监测的数据流实时处理机制，该机制不仅提高了数据流实时处理效率，而且实现了对异常状况的快速捕获；最后应用上述研究成果，设计并实现了物资管理综合信息系统中的一个分系统——环境监测系统，该系统采用数据流管理系统作为流数据处理平台，解决了基于传统数据处理技术的环境监测系统在对流数据执行查询操作时需要进行大量的FO交换，效率低下，难以满足实时系统的需求的问题。目前该系统已在物资管理综合信息系统中得到成功试用。关键词：数据流，连接聚集，滑动窗口，实时处理，环境监测第v页国貉科学授寒

4、大学研究燕院学位论文ABSTRACTWi饿explosiveapplicationsofinformationprocessingincommunication，industrymanufacturing，businessprocessingandmanyotherareas，moreandmoredatataketheformofcontinuousdatastreamsratherthanthetraditionalfinitestoreddataset。Theappearanceofconti

5、nuousdatastreammodelsisbringinggreatchallengestotraditionaldatamanagementtechnology．翻峙existingdatabasemanagementtechniqueshavehardlybeenappliedtoprocessdatastreamseffectively．Therefore，it'snecessarytostudythenewdatastreammanagementtechniquesaccordingto

6、thecharacteristicofdatastreammodels．Nowadaysthestudyondatastreammanagementisbecomingoneofthehottopicsamongthedatabaseei]∞leallovertheworld。Tostudydatastreamshasnotonlyimportantscientificvaluebutalsohugeapplicationoutlooks．，nlelarge—scaleintegratedmanag

7、ementinformationsystemformaterialrequiresthetemperaturesensors，humiditysensors，smogsensorsandothersensorequipmentstomonitortheenvironment。Thesesensordataarereflectedintheformofthedynamicandcontinuousdatastream．Inlightoftheseinquiriesthatsensordataproce

8、ssingandmanagementneed，wefocusonthejoinaggregationcontinuousqueriesonthecontinuousdatastreamsinthispaper．Firstly，todealwiththeproblemoflowefficiencywhenthetraditionalalgorithmnamed3一久processingoverdatastreamencounters，animprovedalgorith