数据流分类挖掘中的概念变化研究.pdf

《数据流分类挖掘中的概念变化研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第41卷第11A期计算机科学Vo1．41No．11A2014年11月ComputerScienceNov2014数据流分类挖掘中的概念变化研究韩法旺刘耀宗(南京森林警察学院信息系南京210023)摘要数据流分类挖掘首先要面对概念变化问题。介绍了数据流分类中的概念变化的定义与类型，研究了概念变化的意义及应用，对目前数据流中处理概念变化的方法进行了综述。真实数据流常常含有大量的噪声，因此需要理解噪声与概念变化的区别。针对周期性数据流中概念重现现象，当“历史概念”重现时，利用特定的模型对数据流进行概念预测，可以减少模型更新的代价。关键词数据流分类，概念变化，概念重现，噪声中图法分

2、类号TP181文献标识码AStudyonConceptChangeinDataStreamsClassificationHANFa-wangLIUYao-zong(DepartmentofInformation，NanjingForestPoliceCollege，Nanjing210023，China)AbstractDatastreamclassificationmustfacetheconceptofchange．Thispaperintroducedthedefinitionandtypesofconceptualchangesinthedatastreamclas

3、sification，themeaningandapplicationofconceptualchanges，andthemethodsofconceptualchangesinthedatastream．Rea1datastreamoftencontainsalotofnoise，andneedstounderstandthedifferencebetweennoiseandtheconceptofchange．Toreproducethephenomenonforperiodicdatastreamconcept，when“theconceptofhistory”rep

4、roduces．theconceptofpredictionusingaspecificmodelofthedatastreamcanreducethemodelupdateprice．KeywordsDatastreamsclassification，Conceptchange，Recurrentconcepts，Noise性。现有算法存在对轻微的概念变化过于敏感、判断漂移的1引言计算代价较高的缺点，而对于概念变化的速率与数据流分类数据流分类技术已经成为数据挖掘的研究热点_1]，数据之间的效率关系缺少深入研究。3)概念变化与噪音数据的关流分类和传统的分类挖掘有着很大的不同

5、，数据流中分类挖系。真实数据流往往并存大量的噪音数据，这给数据流挖掘掘的研究是当前数据流挖掘领域的重要内容之一。数据流分带来诸多困难，而数据流分类器在处理概念变化时必须处理类必须要首先解决概念变化(ConceptChange)的问题。概念好噪音数据的影响。变化通常是指隐含内容的改变会或多或少从根本上导致目标总的来讲，目前正在深入研究概念变化问题，但还缺少对概念的改变。由于数据流的动态性，其所隐含的映射关系会概念变化的形式化的描述，没有形成公认统一的看法。本文发生变化，而这种蕴含在训练数据中的映射关系的变化可看针对数据流分类挖掘中的概念变化研究作了阶段性的归纳；作是发生了概念

6、变化【2]。深入分析了数据流中的概念变化现象与机理；对数据流中概如何解决数据流分类中的概念变化问题，也是数据流分念变化出现的新问题进行了探讨，并提出了相对应的策略。类挖掘研究的难点。数据流分类算法大致可分为两类[1]：增2数据流中概念变化的含义量学习(IncrementalLearning)和集成学习(EnsembleLearn—ing)。这两种方法对概念变化处理仍然有很大的局限性，一2．1数据流的概念变化含义般笼统地把数据流中的概念变化看成是样本的联合概率分布研究概念变化先要理解概念的含义，概念学习是机器学发生变化，并没有深入地探讨概念变化的起因和相应的解决习领域的重要研

7、究内容，许多机器学习问题都涉及到从特殊办法。训练样本中得到一般概念，待学习的概念或函数称为目标概目前对数据流概念变化的研究大多数是数据流分类研究念(TargetConcept)l_4J。中的附带解决的问题之一，还没有针对数据流挖掘中概念变定义1(概念学习[43)给定一个总体样本空间x，X中化现象做过系统性归纳。处理概念漂移的数据流主要有以下的每个样本表示为特征属性的集合，待学习的概念为C，C是要求[3]：1)准确性。数据流分类算法中广泛采用的遗忘机制定义在X上的概念函数，从x中抽取训练样本集合T(T中很难与概念变化