离群值的判断和处理20141230

《离群值的判断和处理20141230》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1离群值的判断和处理上海市临床检验中心张健2主要内容离群值判断和处理的相关国家标准离群值的定义离群值的判断离群值的处理GB/T4883作者：于振凡3离群值判断和处理的相关国家标准GBT4883-2008数据的统计处理和解释正态样本离群值的判断和处理GBT6380-2008数据的统计处理和解释Ⅰ型极值分布样本离群值的判断和处理GBT8056-2008数据的统计处理和解释指数分布样本离群值的判断和处理GBT48334离群值的定义离群值outlier样本中的一个或几个观测值，它们离开其他观测值较远，暗示它们可能来自不同的总体。注：离群值按显著性的程度

2、分为歧离值和统计离群值。统计离群值statisticaloutlier在检出水平下统计检验为显著的离群值5检出水平与剔除水平检出水平：detectionlevel为检出离群值而指定的统计检验的显著性水平注：除非根据本标准达成协议的各方另有约定，检出水平应为0.05剔除水平：deletionlevel为检出离群值是否高度离群而指定的统计检验的显著性水平注：除非根据本标准达成协议的各方另有约定，检出水平应为0.01GB/T48836离群值的来源与判定按产生原因可分为两类：总体固有变异的极端表现由试验条件和方法的偶然偏离产生离群值判定的方法：根

3、据技术上或物理上的理由直接判定应用统计方法判定－GBT48337离群值的三种情形GBT4833在下面三种情况下判断离群值上侧情形：根据实际情况和以往经验，离群值都是高端值下侧情形：根据实际情况和以往经验，离群值都是低端值双侧情形：根据实际情况和以往经验，离群值可以是高端值，也可以是低端值8单个和多个离群值检出离群值个数的上限：应规定检出离群值的个数，当超过这个限制时，对样本应做慎重处理。单个离群值情形：1.依据实际或经验，确定事宜的离群值检验方法2.确定显著水平3.确定检验临界值4.计算相应统计量值，与临界值比较做出判断多个离群值情形：离群值大于1

4、的情况，重复单个离群值方法，当超出上限时，检验停止。9离群值处理处理方式：保留离群值并用于后续数据处理在找到实际原因时修正离群值，否则予以保留剔除离群值不追加观测值剔除离群值并追加新的观测值或用适宜的插补值代替10处理规则对检出的离群值，应尽可能寻找技术或物理的原因，根据问题性质，权衡寻找和判定产生离群值的原因所需代价、正确判定离群值的得益及错误剔除正常观测值的风险，以确定实施下述三个规则之一：若技术或物理上找出离群值原因，则应剔除或修正，若找不到原因则不得剔除或修正若技术或物理上找出离群值原因，则应剔除或修正；否则，保留歧离值，剔除或修正统计离群

5、值；重复检验获得多个离群值，都要进行检验是否为统计离群值，并与前面的离群值一起剔除或修正检出的离群值都应剔除或修正11备案被删除或修正的观测值及其理由应予记录，以备查询。12判断规则和检验方法已知标准差情形离群值的判断规则未知标准差情形离群值的判断规则A.限定检出离群值个数不超过1B.限定检出离群值个数大于113已知标准差情形离群值的判断规则一般原则：使用奈尔（Nair）检验法，3≤N≤100离群值的判断规则上侧情形下侧情形双侧情形14已知标准差情形离群值的判断规则15注：样本均值、样本标准差和Grubbs统计量的保留位数至少要比原始数据多一位

6、；即原始数据的修约间隔为10n、10-n时，样本均值、样本标准差和Grubbs统计量的修约间隔为10n+1、10-n-1。（n为正整数和零）。比原始数据多几位，要在相关的文件中作出明确规定。1617未知标准差情形离群值的判断规则离群值个数不超过1时一般原则：选择格拉布斯法和狄克逊方法格拉布斯（Grubbs）检验法上侧情形下侧情形双侧情形狄克逊（Dixon）检验法单侧情形双侧情形18GB/T4883作者：于振凡1920212223未知标准差情形离群值的判断规则离群值个数大于1时一般原则：选择格偏度－峰度检验法或狄克逊方法偏度－峰度检验法单侧

7、情形－－偏度检验法双则情形－－峰度检验法狄克逊（Dixon）检验法24252627对检验方法的选择一、限定检出离群值的个数不超过1时A、n<31，使用Grubbs检验法B、n>30，正态概率纸上线性好，使用偏度-峰度检验法C、n>30，正态概率纸上线性不好，使用Grubbs检验法二、限定检出离群值的个数可以超过1时A、n<31，使用Dixon检验法B、n>30，正态概率纸上线性好，使用偏度-峰度检验法C、n>30，正态概率纸上线性不好，使用Grubbs检验法