数据流关键技术研究

《数据流关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、!!!!"#$%&’())*(+,)-".,/0,,0112A数据流关键技术研究/B0////王永利，董逸生，徐宏炳，钱江波，刘学军>/.,东南大学计算机科学与工程系，江苏南京0/11CD；0.,佳木斯大学计算机公共教学部=摘要：处理无限的连续数据流的应用日益流行，传统数据库对快速变化的数据流进行在线分析的支持存在很多限制，需要对已存在的技术进行广泛的研究扩展，构建新的系统管理流数据。本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况；分析了连续查询处理的新需求和挑战及数据流系统新颖之处；重点研究包括数据模式

2、，系统结构，连续查询语言，调度方法，相关算法和查询评价等关键技术。并提出在数据流研究方面的一些新看法。关键词：数据流；数据流管理系统；连续查询；查询评价/,引言于关系的流系统，强调内存管理和近似查询解答。3、伯克力大学，电信电话流TelegrahpCQ[5]传统数据库系统应用于持久稳固的数据存储和复杂查询，，是一个连续查通常数据库由一系列对象组成，插入、更新、删除等操作没有查询处理系统，着重于共享查询评价和适应性查询处理。流管理询发生得频繁，查询的结果反映了当前数据库的状态。然而近系统Fjording是处理传感器数据

3、流查询的框架。4、维斯康星大学，Web流系统Niagara[6]几年许多应用证明这种数据模式和查询范例是不合适的，如传，是可以处理基于感器数据位置跟踪、工厂装配线管理、金融证券管理、Interne流t动态Web内容的连续XML-QL查询的连续查询系统。5、康乃尔大学，传感器网络COUGAR[7]量监控、Web使用日志、电话呼叫记录和事务日志的在线分析，是使用ADTs表等，在这些应用背景中信息按照数据值序列的形式自然产生，示传感器模型，以时间序列表示输出的传感器数据库。6、Gigascope[8]都需要及时地处理大规模

4、的潜在快速的异步数据流。是一个分布式网络监控结构，提出将某些查数据流是实时的、连续的、有序的项的序列（由到达时间隐询操作符推入数据源（例如路由器）。含表示或显式地由时间戳指定）。按照数据项到达的顺序，将数与国际上数据流领域极其活跃的研究态势相比，国内数据据流完整地存储到本地是不可行的。流上的查询在周期性的时流技术的研究基本上处于跟踪学习阶段，复旦大学，北京大学，间上连续运行，当新数据到达时增量式地返回结果，此即所谓哈尔滨工业大学，东北大学，东南大学等一些研究机构已经针的长时间运行的、连续的、持久稳固的查询[1,2]。

5、对数据流的各种相关问题展开了深入的研究，发表了一些有关本文论述数据流关键技术和研究发展情况，数据流管理系数据流技术的论文，但是具有国际影响的技术成果很少，有待统的新颖之处；数据流模式和查询语言，流操作符；讨论连续查进一步提高。03/,4565的新颖之处询调度策略，查询处理和优化等内容；最后总结了数据流系统的关键技术。传统的数据库系统旨在处理永久、稳定的数据，强调维护数据的完整性、一致性，其性能目标是高的系统吞吐量和低的0,数据流技术研究发展情况代价，其设计目标是维护数据的绝对正确性、保证系统的低代设计有效的数据流管理

6、系统需要对传统数据库的几乎所价、提供友好的用户接口。这种数据库系统对传统的商务和事有方面进行修改或扩充。本领域的热点问题有：在数据模式和务型应用是有效的、成功的，然而它不适合无限、快速、实时的查询语言中加入时间、顺序、窗口；实现近似计算操作的方法如应用。这关键在于它不强调数据处理的时间和空间限制，其系草图技术、滑动窗口技术等；设计可以重新优化的适应性查询；统的性能指标是吞吐量和平均响应时间，而不是自适应性和查适合于流操作的调度策略；分布式查询的处理，数据流挖掘等询服务质量等。与传统DBMS一切为了保证结果的绝对正确性

7、问题。研究涉及的数据处理技术相当广泛。相反，DSMS更看重自适应性。目前还没有DBMSs提供内建的近期对上述问题的研究已经产生几个学术性的项目，均处功能支持近似查询回答。于实验原型阶段，还没有产品原型出现。著名的研究单位及数数据流管理系统DSMS与传统DBMS相比，新颖性表现据流项目如下：在三个方面：1、布朗大学，大型流监控系统Aurora[3]。是面向工作流的系语义75’8+9&:;<=,流数据按时间顺序输入，查询结果以流形统，用户可以通过组合boxes(查询操作符)和arrows(查询操式输出。作符之间的数据流)

8、创建查询计划。状态>5&+&?@,实时数据经一遍扫描处理之后，可以丢弃，不2、斯坦福大学，通用流系统STREAM[4]，是通用目的的基必存储全部无终止的流数据，某些操作需要历史记录。A基金项目：国家自然科学基金资助项目>C1E/01/2=、江苏省0112年度研究生创新计划资助项目>F812GEDH计算机时代!""#年第$!期!!!性能%&’()