基于不同的损失函数svm的优化形式

《基于不同的损失函数svm的优化形式》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.第三次作业针对不同的损失函数SVM的优化形式姓名：侯艳巧班级：研2—118学号：1102121349学院：电子工程学院导师：吴建设电话：15129282069-..损失函数在模式分类的决策中,使错误率达到最小是重要的。但在实际问题中，如诊断、癌细胞识别等，有时需要考虑一个比误判率更为广泛的概念——风险。例如，对于故障诊断，如果把正常状态诊断为故障状态，就可能会进行一些不必要的维修，造成一定的损失；而如果把真正的故障状态诊断为正常状态，则会延误维修工作，可能会造成设备的损坏，带来更大的甚至不可挽回的损失。显然，后者的损失比前者要

2、大得多。因此，在进行故障诊断、癌细胞识别等问题的研究时，就应该考虑到这一点。传统的最小风险Bayes故障决策就是把各种分类错误而引起的损失考虑进去的决策规则。在将SVM应用到这些问题时也应该将这些因素考虑进去。SVR损失函数1).e不敏感损失函数ε-支持向量回归机——ε-SVR算法(1)设已知训练集，其中。(2)选择适当的正数ε和C；选择适当的核。(3)构造最优化问题-..s.t.(4)求得支持向量。根据KKT条常，有成立，也就是只有支持向量对应的拉格朗日乘子不等于零。因此，可以只采用训练样本中的少数支持向量就可以实现函数估计。

3、(5)选取不同的核函数作为内积的回旋，实现输入空间中不同类型的线性决策面的学习机器。对于非线性回归问题，可以通过非线性变换将输入向量影像到高维特征空间，转化为类似的线性回归问题加以解决，为了避免高维特征空间中的“维数灾难问题”，采用Hilbert空间中内积的回旋形式，用输入空间的—个核函数等效高维特征空间的内积形式。(6)构造决策函数其中按下列方式计算，选择位于开区(0,C/l)中的或，若是选到的是，则。若选到的是，则。综上所述，采用支持向量机解决回归函数估计问题，必须首先确定3个自由参数：ε不敏感值和正则化参数C以及核参数(多

4、项式核的阶、径向基核的宽度参数、样条生成核的样条阶数，等等)-..，然后采用上述支持向量回归估计算法进行回归估计。通过控制C和ε两个参数，可以控制支持向量机的推广能力。ε--支持向量回归机中的稀疏性定理1设是最优化问题的解，则(1)若，则相应的样本点一定在ε-带的内部或边界上。(2)若，或，则相应的样本点一定在ε--带的边界上。(3)或，则相应的样本点一定在定在ε-带的外部或边界上。推论(1)若样本点在ε-带的内部，则。从(1)中可以看出，所有在ε-带内部的样本点都对应，即它们都不是支持向量。显然，它们对决策函数没有贡献。换句话

5、说，去掉这些样本点，不会对最终的决策函数造成影响。反过来说，只有那些对应于的样本点，才会影响决策函数。这一事实所体现的稀疏性将有可能简化我们的计算。显然，这个优点与所采用ε的不敏感损失函数密切相关。2).Huber损失函数-..Huber-SVR的参数与高斯输入噪声间的近似线性关系Huber-SVR当SVR中的损失函数取Huber函数时，构成Huber-SVR。其模型如下:(1)将Huber函数代入上述约束条件，则上述模型可以进一步化为如下的二次规划问题：其中K(.,.)是核函数。在求出上式中的参数α后，即可求得回归函数f(x)

6、。Huber-SVR的贝叶斯框架在参数估计中，贝叶斯方法是一种把待估计参数看作具有某一已知分布的随机变量，从而进行参数估计的、将先验信息数学形式化的方法。通常称这一已知分布为先验分布。由于利用了先验信息，则当先验信息与实际情形比较一致时，贝叶斯估计要优于极大似然估计。当将这一思想应用于SVR时，就有了SVR的贝叶斯框架，由此可以推导出SVR损失函数的参数与输入样本噪声之间的关系。下面对此作简要介绍。对于给定的样本集-..考虑用进行回归时的权参数估计问题。其中，服从分布P(·)，服从分布Φ(·)。对应于y的密度函数记为p(y/x)

7、=。为简化问题，假定所有的具有0均值。求解上述问题的Huber-SVR贝叶斯框架要点如下：(1)Huber损失函数导致以下的对应于Y的概率密度函数：(3)其中，μ是Huber损失函数的参数，β是用于控制噪声水平的参数，是归一化系数。则(4)(2)权参数ω的先验分布为(5)其中，α为某一常数。(3)权参数叫的后验分布为则+常数(6)于是，估计权参数的问题就变成了对于给定的的值求ω的最大后验估计问题。由此可以进一步推导出损失函数的参数与输入噪声之间的关系。-..3).Guass损失函数Gaussian损失函数的支持向量回归机设训练集

8、中的样本点是由一个基本函数依赖关系和噪声产生的，即(4)当噪声的密度函数已知，则在最大似然意义下，最优的损失函数是(5)本文采用高斯函数进行降噪处理，此时噪声的密度函数为Gaussian函数，则有(6)由式(5)知(7)此时，基于Gaussian损失函数的SVR