用SVM处理多类与(2).ppt

《用SVM处理多类与(2).ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三讲用SVM处理多类与回归问题多类支持向量机支持向量机回归机多类支持向量机间接方法：通过构造一些二分类支持向量机，然后组合这些二分类器得到多分类支持向量机一类对一类一类对余类有向无环图法（DAGSVM）纠错输出编码（ECOC）一次性求解方法直接方法：直接构造多分类支持向量机一类对一类Class1Class2Class3D13(x)=0D23(x)=0D12(x)=0x2x1二分类器决策函数:多分类决策函数:简单多数投票法特点:(1)两分类器个数多k(k-1)/2,但每一个规模较小；(2)存在不可分区域。一类对

2、余类二分类器决策函数:多分类决策函数:特点:(1)两分类器个数少（k个）,但每一个规模较大，且会出现两类样本个数不平衡问题；(2)存在不可分区域。Class1Class2Class3D2(x)=0D3(x)=0D1(x)=0x2x1DAGSVM训练同一类对一类决策规则：ECOC按某种规则构造m个两分类器，要求对每个类的样本两分类器都判断正确（指同一类的样本不会被两分类器判成分属不同的类），从而得到一个k（分类数）行m列的编码矩阵：决策规则：给一个待测样本，经m个两分类器判断后，得到一个长度为m，元素为0或1的向

3、量，然后与编码矩阵的m个行向量，按汉明距离最小的规则判定它所属的类别。直接方法(1)直接方法(2)多分类决策函数：特点：（1）问题规模小，仅为O(4l),而一对一，一对余的问题规模为O(kl)；（2）可对类之间的间隔提出要求；（3）对核函数的要求较高。支持向量机回归机回归问题及求解方法ε-支持向量回归机v-支持向量回归机ε-不敏感损失函数其他形式的损失函数回归问题及求解方法求解方法：最小二乘法：偏差平方和最小；最小ε带：偏差最大最小（可以变为两类问题求解）；回归问题偏差最大最小（可变为两类问题求解）图7最小ε

4、带：偏差最大最小图8最小ε带转换为两分类问题ε-支持向量回归机原问题与对偶问题模型决策函数原问题与对偶问题模型决策函数v-支持向量回归机ε-不敏感损失函数