基于filter算子匹配的增量式dag计算复用方法

《基于filter算子匹配的增量式dag计算复用方法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于FILTER算子匹配的增量式DAG计算复用方法　　摘要：伴随着数据的爆炸式增长，越来越多的大数据业务分析与处理选择分布式计算平台。目前针对大数据的分布式计算框架都支持DAG式的任务编排。由于大数据采集来源以及分布式存储系统特点，很多使用DAG框架�M行计算的应用都是增量式的大数据集，但现有的DAG框架对这样的数据集进行计算时有许

2、多冗余，造成计算资源浪费。提出了在DAG框架上进行增量式复用的方法，并针对FILTER算子特点提出了基于FILTER算子匹配的间接复用机制。　　关键词：增量计算；分布式计算；计算复用；查询优化；DAG计算　　DOIDOI：/　　中图分类号：TP301　　文献标识码：A文章编号：1672--0026-03　　0引言　　利用大数据进行业务分析与处理越来越多，Google的Map-Reduce、ApacheHadoopMR以及ApacheSpark是应用甚广的分布式计算框架[1-2]，即便缺乏分布式系统经验的大数

3、据工作者，也能充分利用分布式计算所带来的性能提升。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　早期这些分布式计算框架主要用于批处理作业，随着数据量的增加以及业务需求的演进，更复杂高效的数据

4、操作手段成为大数据分析与处理的重要需求。Pig、Hive以及SparkSQL都提供了相较于MPI及Map-Reduce等传统分布式计算手段更高层次的分布式数据集接口，通过这些接口可以更轻松地对大数据集进行分析与处理[3�C5]。　　大数据计算平台的分布式存储系统，如GFS、HDFS都具备一些共同特征：数据的更新主要通过附加新数据方式完成，而这类增量式数据进行处理时，往往会产生较多的冗余计算[6-7]。　　本文提出了在增量计算中进行间接复用的方法，并通过解构、分析FILTER算子方式，达成比算子级更低粒度的计

5、算复用，从而提升算子复用机会，使整体计算效率得到提升。　　1相关工作　　增量计算中的复用方法有以下两种方式：　　对结果集进行局部更新，即通过针对特定的分布式作业管线设计一系列动态算法，并依据该算法对此前的结果集进行小规模的局部更新，从而使剩余大部分结果集得以复用。Google设计的可用来更新PageRank的Percolator就是采用这种方法的代表[8]。该种方式主要针对特定的分布式计算任务。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外

6、活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　对作业管线中的子任务进行缓存及复用，从而透明地重用此前的计算结果，由系统自动地将可复用的子任务计算结果进行缓存，在缓存命中的情况下，就可避免相关子任务计算。　　ReStore通过分析并改写作业的物理计划达到复用之前计算的目的[9]。ReStore不仅可复用完

7、整的计算作业，还可复用作业中的子作业，有效提升了复用发生几率。　　与Restore不同，Nectar系统所对应的输入是DAG作业，而非传统的MR作业[10]。Nectar在DryadInc的两个DAG作业复用算法IDE及MER基础上，阐述了整个复用体系的工作机制，并重点阐述了对数据中心的数据管理方法[7]，在复用粒度上与Restore相似。Nectar在查询任务的逻辑计划上进行分析与复用优化，将计算逻辑与计算数据进行复合并作为缓存键，将计算结果存储于分布式文件系统中，并通过缓存服务器对其进行索引。　　2基于

8、FILTER算子匹配的间接复用　　基本概念　　大数据规模庞大，在以事务为中心的数据库中难以进行批量计算和处理，非关系式的数据模型索引建立和维护较为困难，在检索上往往面临性能上的挑战。目前分布式计算框架是通过多节点的并行运算来提升计算效能的。　　增量数据往往是对事物的客观记录和描述，通常都是历史信息，这类数据具有不会更新、删除的特点。增量型数据可定义为：为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不