基于核函数拟合的非平衡数据分类方法

《基于核函数拟合的非平衡数据分类方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第２７卷第４期计算机应用与软件Ｖｏｌ２７Ｎｏ．４２０１０年４月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＡｐｒ．２０１０基于核函数拟合的非平衡数据分类方法马胜祥马建庆杨明（复旦大学计算机与信息技术系上海２００４３３）摘要在数据分类算法的实际应用中，经常会遇到数据不平衡的问题（即正负样本的数目相差极大）。标准的分类算法在处理这一问题时，往往很难达到令人满意的性能。提出一种新的方法，通过对正负样本分别进行核函数拟合，根据拟合好的核函数对未知样本进行预测。在ＵＣＩ标准数据集的仿真实验结果表明，该方法能有效地处理非平衡数据问题。关键词非平衡

2、数据核函数拟合ＡＦＩＴＴＥＤＫＥＲＮＥＬＦＵＮＣＴＩＯＮＢＡＳＥＤＣＬＡＳＳＩＦＩＣＡＴＩＯＮＭＥＴＨＯＤＦＯＲＩＭＢＡＬＡＮＣＥＤＤＡＴＡＳＥＴＭａＳｈｅｎｇｘｉａｎｇ　ＭａＪｉａｎｑｉｎｇ　ＹａｎｇＭｉｎｇ（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｉｎｇａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＦｕｄａｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２００４３３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ　　Ｔｈｅｄａｔａｉｍｂａｌａｎｃｅｐｒｏｂｌｅｍ，ｗｈｅｒｅｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｎｕｍｂｅｒｓｏｆｐｏｓｉｔｉｖｅｓａｍｐｌｅｓａｎｄｎｅｇａｔ

3、ｉｖｅｓａｍｐｌｅｓａｒｅｍｕｃｈｇｒｅａｔ，ｆｒｅｑｕｅｎｔｌｙｏｃｃｕｒｓｉｎｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｏｆｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｓ．Ｓｔａｎｄａｒｄｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｈａｒｄｔｏｐｅｒｆｏｒｍｓａｔｉｓｆａｃｔｏｒｉｌｙｗｈｅｎｄｅａｌｉｎｇｗｉｔｈｔｈｉｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅａｕｔｈｏｒｐｒｏｐｏｓｅａｎｅｗｍｅｔｈｏｄ，ｗｈｉｃｈｆｉｔｓｔｈｅｐｏｓｉｔｉｖｅｓａｍｐｌｅｓａｎｄｎｅｇａｔｉｖｅｓａｍｐｌｅｓｒｅｓｐｅｃｔｉｖｅｌｙｗｉｔｈｋｅｒｎｅｌｆｕ

4、ｎｃｔｉｏｎｓａｎｄｐｒｅｄｉｃｔｓｔｈｅｕｎｋｎｏｗｎｓａｍｐｌｅｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｆｉｔｔｅｄｋｅｒｎｅｌｆｕｎｃｔｉｏｎ．ＳｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｍａｄｅｏｎＵＣＩｓｔａｎｄａｒｄｄａｔａｓｅｔｓｓｈｏｗｎｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｄｅａｌｗｉｔｈｔｈｅｉｍｂａｌａｎｃｅｄｄａｔａｐｒｏｂｌｅｍｓ．Ｋｅｙｗｏｒｄｓ　　Ｉｍｂａｌａｎｃｅｄｄａｔａ　Ｋｅｒｎｅｌｆｕｎｃｔｉｏｎ　Ｆｉｔｔｉｎｇ衡。如对样本多的类进行欠采样，而对样本少的类进行过采样，０　引言或者将欠采

5、样和过采样进行结合，以到达准确分类的目的。文献［１］提出的ｏｎｅｓｉｄｅｄｓｅｌｅｃｔｉｏｎ方法就是一种典型的欠采样方在数据分类算法的实际应用中，经常会遇到数据不平衡问题，法，通过除去噪音、边界线，以及冗余的多数类样本来获得数据即大部分数据属于同一类，极少的一部分属于另一类，而后者通常的平衡。然而当正样本与负样本的数目比率达到１：１００以上是被关注的类别。如医疗图像中肿瘤的识别，阳性样本比阴性样本时，该方法就有着局限性。文献［２］提出了一种过采样方法，通少得多。此外，对正负样本的关注度也是不一样的，如上面这个例过在少数类样本进行插值或者复制来达到数据的

6、平衡。子，把非肿瘤样本识别为肿瘤正样本比把肿瘤样本识别为非肿瘤负算法方法主要是从算法层次上的改进来获得性能的提升。样本的代价要小得多，效果也好得多。又如在文本分类中，属于不文献［３］建议把竞争学习网络与多层感知机进行结合来解决非同主题的文本数目是相差极大的。因此，如何从这些不平衡的数平衡问题。也有尝试着用改进的ＳＶＭ来解决数据不平衡问题据样本中准确地识别出属于少量类的样本（正样本），有着重要和通过对不同的类使用不同的惩罚因子，来获得更好的性能。的实际应用价值，也越来越多地获得研究者们的关注。近年来，文献［４］在ＭＰＭ（ＭｉｎｉｍａｘＰｒｏｂａｂｉｌｉｔｙ

7、Ｍａｃｈｉｎｅ）模型基然而由于数量上的严重倾斜，传统的机器学习分类算法如支础上，提出了ＢＭＰＭ（ＢｉａｓｅｄＭｉｎｉｍａｘＰｒｏｂａｂｉｌｉｔｙＭａｃｈｉｎｅ）模型来持向量机、决策树、神经网络等，并不能很好地处理这一问题，达处理非平衡数据的问题。该方法主要是通过构造一个分类超平到令人满意的性能。它们分类性能更倾向于多数类样本，而忽视面，其中对正负样本赋予不同的概率下界，在满足负样本概率下了少数类样本。本文正是从这一需求出发，提出一个新的非平衡界的情况下，最大化正样本的概率下界。也有通过使用ＯＦＳ数据分类方法。该方法通过对正负样本分别进行核函数拟合，用（ｏ

8、ｒｔｈｏｇｏｎａｌｆｏｒｗａｒｄｓｅｌｅｃｔｉｏｎ）来构造核分类器，以达到对非平