回归型模糊最小二乘支持向量机

《回归型模糊最小二乘支持向量机》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、２００７年１０月西安电子科技大学学报（自然科学版）Ｏｃｔ．２００７第３４卷第５期犑犗犝犚犖犃犔犗犉犡犐犇犐犃犖犝犖犐犞犈犚犛犐犜犢Ｖｏｌ．３４Ｎｏ．５回归型模糊最小二乘支持向量机吴青，刘三阳，杜吉吉（西安电子科技大学理学院，陕西西安７１００７１）摘要：为了克服最小二乘支持向量机对于孤立点过分敏感的问题，将模糊隶属度概念引入最小二乘支持向量机中，提出了基于支持向量域描述的模糊最小二乘支持向量回归机．该方法先对样本进行数据域描述得到一个包含该组数据的最小半径的超球，再根据特征空间中样本与超球球心的距离确定它们的隶属度，减少了奇异点

2、（噪声）的影响；把所要求解的约束凸二次优化问题转化为正定线性方程组，并采用快速Ｃｈｏｌｅｓｋｙ分解的方法求解该方程组．实验结果表明该方法在不牺牲训练速度的前提下，比支持向量机和最小二乘支持向量机具有更高的预测精度．关键词：最小二乘支持向量机；模糊隶属度；数据域描述中图分类号：ＴＰ１８文献标识码：Ａ文章编号：１００１２４００（２００７）０５０７７３０６犉狌狕狕狔犾犲犪狊狋狊狇狌犪狉犲狊狌狆狆狅狉狋狏犲犮狋狅狉犿犪犮犺犻狀犲狊犳狅狉狉犲犵狉犲狊狊犻狅狀犠犝犙犻狀犵，犔犐犝犛犪狀狔犪狀犵，犇犝犣犺犲（ＳｃｈｏｏｌｏｆＳｃｉｅ

3、ｎｃｅ，ＸｉｄｉａｎＵｎｉｖ．，Ｘｉ′ａｎ７１００７１，Ｃｈｉｎａ）犃犫狊狋狉犪犮狋：Ｔｈｅｃｏｎｃｅｐｔｉｏｎｏｆｆｕｚｚｙｍｅｍｂｅｒｓｈｉｐｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｏｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ（ＬＳＳＶＭｓ），ｗｈｉｃｈｏｖｅｒｃｏｍｅｓｔｈｅｄｉｓａｄｖａｎｔａｇｅｔｈａｔＬＳＳＶＭｓａｒｅｓｏｓｅｎｓｉｔｉｖｅｔｏｏｕｔｌｉｅｒｓｉｎｔｒａｉｎｉｎｇｓａｍｐｌｅｓ．Ａｎｄｔｈｅｎｆｕｚｚｙｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ（ＦＬＳＳＶＭｓ）ａｒ

4、ｅｐｒｏｐｏｓｅｄｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｄｏｍａｉｎｄｅｓｃｒｉｐｔｉｏｎ（ＳＶＤＤ）．Ｄａｔａｓａｍｐｌｅｓｉｎｔｈｅｆｅａｔｕｒｅｓｐａｃｅａｒｅｄｅｓｃｒｉｂｅｄａｎｄｔｈｅｓｍａｌｌｅｓｔｅｎｃｌｏｓｉｎｇｈｙｐｅｒｓｐｈｅｒｅｉｓｏｂｔａｉｎｅｄ．Ｔｈｅｆｕｚｚｙｍｅｍｂｅｒｓｈｉｐｖａｌｕｅｔｏｅａｃｈｓａｍｐｌｅｐｏｉｎｔｉｓｄｅｔｅｒｍｉｎｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｄｉｓｔａｎｃｅｏｆｅａｃｈｓａｍｐｌｅｆｒｏｍｔｈｅｃｅｎｔｅｒｏｆｔｈｅｈｙｐｅｒｓｐｈｅｒｅ，ｗｈｉｃｈｃａｎｒｅｄｕ

5、ｃｅｔｈｅｅｆｆｅｃｔｏｆｏｕｔｌｉｅｒｓ．ＮｕｍｅｒｉｃａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｅｄｉｃｔｉｖｅｐｒｅｃｉｓｉｏｎｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｈｉｇｈｅｒｔｈａｎｔｈａｔｏｆＳＶＭｓａｎｄＬＳＳＶＭｓｗｉｔｈｏｕｔｄｅｃｒｅａｓｉｎｇｔｈｅｔｒａｉｎｉｎｇｓｐｅｅｄ．犓犲狔犠狅狉犱狊：ｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ；ｆｕｚｚｙｍｅｍｂｅｒｓｈｉｐ；ｄａｔａｄｏｍａｉｎｄｅｓｃｒｉｐｔｉｏｎ支持向量机（ＳＶＭ）是Ｖａｐｎｉｋ等人在１９９５年提出的以有限样本统计

6、学习理论为基础的一种机器学习方法．它建立在结构风险最小化基础上，通过二次规划求取样本的最优分类面，由于很多实际问题都不是线性可分的，Ｖａｐｎｉｋ等人采用一种中间策略解决该问题：首先将输入样本映射到高维特征空间，将线性不可分问题转化为线性可分问题，再在特征空间中使用最优超平面算法．支持向量机中使用的核函数要求是正定核函数．［１］近年来，Ｓｕｙｋｅｎｓ等人提出了一种新的ＳＶＭ方法———最小二乘支持向量机（ＬＳＳＶＭ），它把ＳＶＭ的学习问题转化为线性方程组的求解问题，极大地减少了ＳＶＭ中求解约束二次凸规划带来的计算复杂度．而ＬＳＳＶ

7、Ｍ的数值稳定性和容量控制的策略使得核函数矩阵在非正定的情况下也能取得良好的效果．与ＳＶＭ［２］相比，ＬＳＳＶＭ虽具有更快的训练速度，但不能保证解是全局最优解，而且其精度也有所下降．［３］为解决ＬＳＳＶＭ对于孤立点过分敏感以及由此带来的过拟合问题，笔者将模糊隶属度概念引入［４］ＬＳＳＶＭ回归问题中，提出了基于支持向量域描述（ＳＶＤＤ）的模糊最小二乘支持向量机（ＦＬＳＳＶＭ）．该方法将数据样本映射到高维空间，在这个高维空间中寻找最小包含超球，再根据样本到超球球心的距离确定其收稿日期：２００６１１２３基金项目：国家自然科学基金资

8、助（６０５７４０７５）作者简介：吴青（１９７５），女，西安电子科技大学博士研究生．７７４西安电子科技大学学报（自然科学版）第３４卷隶属度值，而对超球之外的孤立点集中的样本则赋予其隶属度一个很小的正数，以减少这些点的影响，从而提高了ＦＬＳＳＶＭ的抗噪能力．仿真试验表明ＦＬＳＳ