基于Hadoop的异常传感数据时间序列检测.pdf

《基于Hadoop的异常传感数据时间序列检测.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第27卷第12期传感技术学报Vo1．27No．122014年12月CHINESEJOURNALOFSENSORSANDACTUATORSDec．2014AbnormalTimeSeriesDetectioninWirelessSensorNetworkBasedonHadoopZHANGJianping，LIBin，LIUXuejun，HU(CollegeofElectronicandInformationEngineering，NanjingTechUniversity，Nanjing211816，China)Abstract：I

2、nwirelesssensornetwork，theresearchofabnormaltimeseriesdetectionisofgreatsignificance．Duetothepoortimeeficiencyoftraditionalresearchunderbigdata，thispaperproposesanalgorithmaboutabnormaltimeseriesdetectionbasedonHadoop．Inthispaper．timeseriesarepreprocessedfirstlyandthen

3、theDTWalgorithmiscalledduringMapReduceoperationofHadooptorealizetheparallelizationcalculationofDTWdistance．Thismeas—ureimprovesthedetectionrategreatly．Meanwhile，tosolvethebottleneckofcomputationalcomplexityofclassicalDTWandthepoorprecisionoftheclassicalconstraints．thep

4、aperalsoproposeslocallyrelevantconstraintsbasedonsalientfeaturealignments．Itconstraintsthewarpingpathlocallytoreducethecomplexityoftimeandspacefurther，italsoensurestheprecisionofthealgorithmatthesametime．Theresultsdemonstratethatthisalgorithmnotonlydecreasesthetimecons

5、umption，butalsokeepsahighprecision．Keywords：wirelesssensornetwork；abnormaltimeseries；Hadoop；locallyconstraints；dynamictimewarpingEEACC：7230doi：10．3969／j．issn．1004-1699．2014．12．014基于Hadoop的异常传感数据时间序列检测术张建平，李斌，刘学军，胡平(南京工业大学电子与信息工程学院，南京211816)摘要：无线传感器网络中，异常时间序列的研究具有十分重要的意

6、义。针对传统研究在海量数据环境中时间效率低下的问题，提出了基于Hadoop的异常时间序列检测算法。首先对时间序列进行预处理，然后在Hadoop的MapReduce操作中调用动态时问弯曲距离计算算法，实现了DTW距离计算的并行化，从而大大提高检测速度。同时针对传统DTW算法计算复杂度瓶颈问题以及传统约束方法准确率较低问题，提出了基于显著特征匹配的局部约束算法，对弯曲路径进行局部限制，在确保准确性的同时进一步降低了时间、空间复杂度。Hadoop平台下实验结果表明，该方法既提高了检测速度，又保证了检测准确率。关键词：无线传感器网络；异常时

7、间序列；Hadoop；局部约束；动态时间弯曲中图分类号：TP393文献标识码：A文章编号：1004-1699(2014)12-1659-07目前，物联网技术作为一个新的技术热点受到越性。DTW距离对那些带有相似的底层模式但由了广泛的关注。在物联网系统中，对传感器海量采于时间变形(如移位或延伸)彼此不同的序列具有样数据的处理显得尤为重要。每个传感器节点采集很好的辨识度，因而大大提高了两序列的检测准确的数据可形成时间序列，而对时间序列的查询及聚性，但其具有较高的时间复杂度，在当今大数据的环类在各种应用领域中也逐渐成为核心数据操作，如境下

8、尤显力不从心。因此，本文提出了一种基于语言识别领域、入侵检测领域、金融领域等。在众多Hadoop的异常时间序列检测方法，采用MapReduce的时间序列中，往往异常的时问序列是最具有研究机制对海量时间序列进行并行化处理，在提高检测价值