异常数据处理方法

《异常数据处理方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、小概率事件实际不可能性原理随机事件的概率表示了随机事件在一次试验中出现的可能性大小。若随机事件的概率很小，例如小于0.05、0.01、0.001，称之为小概率事件。食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除测量数据包含:随机误差和系统误差,只要误差值不超出允许范围,所得结果就应接受。粗大误差的差超出了正常的误差差分布范围,对测量结果造成歪曲。因此应剔除包含有粗大误差的数据。仅凭直观判断常常难于对粗大误差和正常分布的较大的误差作出区分。若主观地将误差值较大但属正常分布的数据判定为异常数据而剔除,也同样会歪曲测量结果。实

2、践中常采用统计的方法判别系列测量数据中的异常数据。以下列出几个判别准则,其基本食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除方法是作出相应于某一数据的统计量,当该统计量超出一定范围,则认为相应的测量数据不服从正常分布而属异常数据。一、莱以特(Paйma)准则1定义对某量进行n次等精度的重复测量,得x1,x2,,xn,若某一数据xk相应的残差vk满足下式条件,则认为xk含粗大误差,属异常数据,应剔除。vxx3s(4-49)kk食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除式中:——为x,x,,x的算

3、术平均值；x12ns——测量标准差的估计量。这就是莱以特准则,亦称为3准则。2局限性此准则在测量数据较少时可靠性差。特别是,当采用贝塞尔公式计算测量标准差s时,若n≤10,则对任一数据xi恒有vxx3s(i1,2,,n)ii食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除此时该准则无效。当测量次数n不同时,vk超出±3s的概率是不同的。此准则没有考虑这一差别,也没有区别对可靠性的不同要求,因而比较粗糙。例1对某一尺寸进行15次等精度重复测量,得到数据如下(单位mm)：10.262，10.268，1026510.

4、265，1026310.263，1027810.278，1026710.267，1026310.263，10.260，10.258，10.262，10.264，10.261，10.264，10.263，10.265，试判别该列测量数据中有无异常数据。食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除解将数据列表1表1食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除1计算算术平均值,取x0=10.265mm,则n1xx0xini11=10.265mm+×(-3+3-2+13+2-2-5-7-315-1-4-1-

5、2)×10-3mm=1026410.264mm;2计算各测量数据残差并填入表中。3计算标准差,按贝塞尔公式有:食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除n2vi295si1μm=464.6μm0n11513s34.6μm=13.8μm4数除数据剔除:由于x5残差绝对值最大,最为可疑,应先检验。显然有v3s,因此x5含有粗大误差,5应剔除。食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除5对于其余数据,应重复以上各步,重新计算算术平均值及标准差,结果如下:n11xx0xi=10.263

6、mm;n1i1vxxii食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除n12visi1μm=262.6μmn23s=7.8μm判断:显然x2及x9最为可疑,但其差其残差vv3s,可见x2及x9属正常数据。因此,剩下29的14个数据均为正常数据。食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除二、格罗布斯(Grubbs)准则1定义对某量进行n次重复测量,得x,x,,x,设测12n量误差服从正常分布,若某数据xk满足下式,则认为xk含有粗大误差,应剔除。vxxkkgkg

7、0n,(4-50)ss食品试验设计与统计分析上海海洋大学食品学院第第节五节异常数据的剔除式中:gk——数据xk的统计量,gkvk/s,k1,2,,n;g0n,——统计量gk的临界值,它依测量次数n及显著度而定,其值列于表4-8;——显著度，为判断出现错误的概率,值依具体问题选择。即当xk满足式(4-50)，但不含粗大误差的概率为:食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除xxkpg0n,s这就是格罗布斯准则。2优点该准则克服了莱以特准则的缺陷,在概率意义上给出较为

8、严谨的结果,被认为是较好的判断准则。食品试验设计与统计分析上海海洋大学食品学院第五节异常数据的剔除例2试用格罗布斯准则判断例1中的异常