数据异常值检测和修正方法探究

《数据异常值检测和修正方法探究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据异常值检测和修正方法探究　　摘要：针对雷达测量数据中存在的异常值，对数据中的时间参数根据其变化规律的等差性进行异常值检测。对雷达发射功率、角度、距离参数异常问题，基于邻近去最值均值滤波原理，采用滑窗方式进行检测并修正。实验结果表明，提出的检测方法能够有效检测并修正数据中的异常跳变点且不改变正常值。关键词：雷达；均值滤波；异常值；检测修正中图分类号：TN957.52?34文献标识码：A文章编号：1004?373X（2013）11?0005?030引言测量雷达在军用和民用领域都有着广泛的应用。近年来，针对不同应用领域的测量雷

2、达相继研制成功，分别在目标的精密跟踪、RCS测量，气象预报，地理测绘等军民领域发挥了巨大的作用，为各项基础理论研究和工程应用提供了有力的数据支撑。然而，由于测量设备本身、数据传输或者人工操作等原因，可能使测量数据中包含某些错误的信息。如果不将这些错误的测量信息检测并剔除掉，将给后续的数据处理带来很大的误差。8目前，针对异常数据检测问题已经提出过很多种方法，包括基于统计学的方法、基于最近邻居的方法、基于分簇的方法、基于聚类的方法等。这些方法在无线传感器网络的数据检测中得到了广泛的应用[1]。针对雷达测量中的异常值检测，文献[2

3、]和[3]通过对卡尔曼滤波方法进行改进，分别提出了适合靶场测量和火箭飞行测量的异常值检测方法。两种方法均能够检测出数据中的异常值，提高了目标的定位精度，但同时对非异常点数据进行了一定程度的平滑，不利于事后的数据处理与应用。本文首先介绍了均值滤波及其改进算法——基于邻近去最值均值滤波的原理，其次根据时间的连续等差变化特性对时间参数进行了检测修正，采用基于邻近去最值均值滤波方法对发射功率、方位俯仰角、距离参数进行检测修正，最后利用实测数据进行了验证。1异常值检测原理1.1基于邻近去最值均值滤波原理均值滤波算法是基于统计理论的一种

4、能有效抑制噪声的非线性信号处理技术。通常应用于图像处理中的平滑和去噪。其基本原理是对图像中的每个合法像素点邻域中的像素按照灰度级进行排序，然后将该组的均值输出作为该像素点的值。均值滤波定义如下：[g（x，y）=mean{f（s，t）}，s，t∈Sxy]（1）8式中：[g（x，y）]为[（x，y）]点的输出值；[f（s，t）]为以[（x，y）]点为中心的邻域内[（s，t）]点的输入值；[Sxy]为以[（x，y）]为中心的邻域。邻域类型可以根据研究或者应用需要选择方形、一字形、十字形、×形等，邻域大小一般可以选择[3×3]，[5

5、×5]。对本文数据类型进行均值滤波，相当于采用一字形窗口。均值滤波可以消除图像中的椒盐噪声和突变点，但是会改变图像中的原始数据。基于邻近去最值均值滤波是对均值滤波的改进，它对模板S内的数据做了去最值修正处理，即在得到模板S内的数据后，去除了其中的最大最小值（以[f（s，t）]表示），再进行均值滤波。该滤波方法极大减小了由于异常点参与运算而导致的滤波结果偏离真值的影响，但是同样会改变原始数据。1.2基于邻近去最值均值滤波检测滤波和检测的目的不同，前者主要是对数据进行去噪和平滑，而后者主要是在不修改原始数据的前提下找出数据中的异

6、常点。因此，本文根据式（1）给出如下判别规则：[Δf（x，y）>3std（f（s，t））]（2）其中：[Δf（x，y）=f（x，y）-mean（f（s，t））]（3）式中[f（s，t）]为去除模板内数据的最大最小值的其他数据。若式（2）成立，则[（x，y）]点为异常点。2检测方法8测量雷达根据其应用领域不同，所记录的参数也存在一定的差异。但是，雷达时统的GPS时间、角度、发射功率、回波功率、目标距离为其必要参数。其中，时间异常点可以直接根据其连续性进行判断，发射功率、角度和距离异常可以通过邻近去最值均值滤波方法进行检测。根据

7、目标特性理论[4]，由于雷达回波功率本身就存在很大的起伏，无法通过简单算法对回波数据进行异常检测。而基于卡尔曼滤波及其改进算法的雷达回波功率异常检测方法，在检测出异常值的同时，很有可能将正常值剔除或平滑。因此，回波功率检测问题需要进一步深入研究。2.1时间异常检测时间异常主要是指时、分、秒、毫秒中的某一项或者某几项出现跳变，使得该条记录的时间与记录前后时间不连续。飞行试验过程中，在目标起飞至降落期间，雷达一般对目标进行持续跟踪，并同步记录回波数据，数据记录时间是连续变化的。因此，可以根据时间变化的连续性对数据记录中的跳变时间

8、点进行检测和修正。假设雷达脉冲发射重频为N，某段时间内采集的数据记录时间为：t0，t1，…，ti，…，i为1～N，那么相邻脉冲（即采样记录）的时间间隔Δti=ti-ti-1=[1N]。如果连续检测到Δti，Δti+1不为[1N]，则说明ti存在跳变，直接以ti-1+[1N]代替ti即可修正