资源描述：
《Adaboost算法多类问题Matlab实现.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、一种adaboost多类分类算法Matlab实现一、adaboost算法简介Adaboost算法的主要思想是给定一个训练集(x1,y1),…,(xm,ym),其中xi属于某个域或者实例空间X，yi=-1或者+1。初始化时Adaboost指定训练集上的分布为1/m,并按照该分布调用弱学习器对训练集上的分布，并按照该分布调用弱学习器对训练集进行训练，每次训练后，根据训练结果更新训练集上的分布，并按照新的样本分布进行训练。反复迭代T轮，最终得到一个估计序列h1,..,hT,每个估计都具有一定的权重，最终的估
2、计H是采用权重投票方式获得。Adaboost算法的伪代码如图1所示。图1、Adaboost算法二、多类问题从上面的流程可以看出，Adaboost算法是针对二类问题的。但是我们面对的问题很多都是不是简单的非0即1，而是多类问题。常见的就是解决方法，就是把多类问题转换成二类问题。用的比较多就是两种组合方法，OAA和OAO，我这里就是采用对这种方法的结合，实现adaboost算法对多类问题的分类。目前需要对7类问题进行分类，依次编号：0、1、2、3、4、5、6。特征向量28个。样本总数840个；OAA分类器
3、的个数7个OAO分类器的个数7（7-1）/2=21个。弱分类器的个数K=10；弱分类用BP神经网络算法的思路：Step1、把数据分成训练集和测试集Step2、训练OAA、OAO分类器；Step3、保存相应的分类器和投票权重；Step4、测试样本，预测所以OAA分类器的权重；Step5、选择OAA预测值中最大的两个Step6、选用OAO分类器对选取预测权重最大的两个类进行预测；Step7、输出测试结果；注：为了统一，在训练OAO分类器是，把类别序列在前的类为正样本，输出+1，类别序列号在后面的为负样本，
4、输出为-1。测试强分类器的识别率为：0.93左右。三、小结其实这个主要的思想就是用差异的样本和差异的分类器，组合较好的分类器器，提升样本的准确性和鲁邦性。在对多类问题识别中。个人觉得本算法还是有一定的缺陷，如果从OAA分类器预测值中选取的最大的两个值，不包含在我们正确的样本类别中，那么我们最后的OAO决策就没有意义。因此对这个OAA预测值的组合也是一个比较关键的技术，也请大家有好的组合决策方法进行交流。我对Adaboost算法理解的比较肤浅，还请大家指点。如有需要请加QQ，验证多类分类问题谢谢合作，非
5、诚勿扰！附件1、OAO/OAA分类器训练clearclctic,%加载数据loadSheet1Sheet1%删除无效数据while(1)if(Sheet1(end,1)==0)Sheet1(end,:)=[];elsebreak;endend%分解输入输出Input=Sheet1(:,2:end)';Output=Sheet1(:,1)';N=max(max(Output));%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
6、%%%%%%%%%%%%%生成一对多（one-against-all)分类器%%%类别标志,把样本组合成一对多的分类器。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%NetName_OAA={};NetName_OAA_C=0;forFlag=0:N%输入变量归一化处理[inputn,inputps]=mapminmax(Input);input_train=[];input_test=[];ou
7、tput_train=[];output_test=[];%生成测试集和训练集%训练样本和测试样本比例P=0.8;forNN=0:NIndex=find(Output==NN);Long=length(Index);%80%的训练、20%测试input_train=[input_traininputn(:,Index(1):Index(1)+floor(Long*P))];input_test=[input_testinputn(:,Index(1)+floor(Long*P)+1:Index(end
8、))];output_train=[output_trainOutput(:,Index(1):Index(1)+floor(Long*P))];output_test=[output_testOutput(:,Index(1)+floor(Long*P)+1:Index(end))];end%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%Long1=l
