基于神经网络集成的模式识别研究

《基于神经网络集成的模式识别研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于神经网络集成的模式识别研究：针对神经X络训练集规模较小时，个体神经X络间的差异会变小，从而降低了神经X络的泛化能力和集成学习的性能等问题，本文通过对训练集添加一定量的噪声，来增大训练样本集，使个体X络能在不同的样本上训练，进而提高集成X络精度以及集成中个体X络的差异度。并将其应用于模式识别，实验结果表明，该方法能有效的提高神经X络集成的泛化能力与模式识别的精度。　　关键字：神经X络集成噪声添加模式识别　　：TP391：A：1007-9416（2011）05-0118-01　　　　1、引言　　人工神经X络已经在众

2、多领域得到了成功的应用，随着应用的深入推广和实际问题的日益涌现，神经计算的局限与不足逐渐显现出来，如学习海量信息时处理速度过慢、泛化能力差、记忆容量有限、需要反复训练、在接受新信息时易发生失忆现象等。这些缺陷使得人们对传统人工神经X络理论的进一步发展提出了强烈的要求，人们考虑采用多种分类器集成融合的方法来提高识别率。早在1990年，Hansen和Salamont[1]通过实验证明，一组神经X络的集成性能优于最好的单一神经X络的性能，多分类器集成的输出可明显改善分类结果。这一研究成果使得集成学习技术尤其是神经X络集成

3、技术成功的应用到了众多领域，并取得了较好的效果。　　神经X络集成方法可以合成多个神经X络的训练和仿真结果，极大地提高神经X络系统的泛化能力。在1996年，Sollich和Krogh[2]为神经X络集成下了一个定义：神经X络集成是用有限个神经X络对同一个问题进行学习，集成在某个输入示例下的输出由构成集成的各神经X络在该示例下的输出共同决定。　　2、神经X络集成模型　　神经X络集成通过有限个个体X络对同一个问题进行学习，其原理就是通过训练多个神经X络并将其结论进行合成[3]。其非线性处理能力和泛化能力较之单个X络更具有

4、优势，已经应用于多个领域，尤其在信息处理、模式识别、智能控制等领域得到越来越广泛的应用。当前对神经X络集成理论分析的研究主要集中在两个方面，一个就是对结论生成方法的分析以及对个体X络生成方法的分析。　　2.1集成结论生成　　在神经X络的结论生成方面，当该集成X络用与回归估计时，通常再用各个个体X络简单的平均或者加权来产生。目前已有学者提出来，权值的优化将会导致过配，以至于降低集成的泛化能力，因此建议使用权值的简单平均。在集成结论生成方面，当前还有采取动态权值的集成方法、贝叶斯方法、各种无约束和约束线性回归方法等。　

5、　另外一种情况是当神经X络集成用于分类器时，神经X络集成的结论通常由个体X络的输出投票产生，一般采用绝对多数或相对多数投票法。绝对多数投票法即某分类成为最终结果当且仅当有超过半数的神经X络输出结果为该分类，相对多数投票法即某分类成为最终结果当且仅当输出结果为该分类的神经X络的数目最多。理论分析和试验表明，相对多数投票法要优于绝对多数投票法，目前大多采用相对多数投票法。　　2.2个体神经X络生成　　在个体神经X络生成方面，目前有两个优秀的算法Boosting和Bagging。Bagging方法的思想是建立在可重复取样

6、的基础上，通过从原始训练集中随机选取训练样本，两者的规模相当，也可以重复选取。这会导致训练集中某些示例在新的训练集中出现多次，而有些样本可能不出现。Bagging方法就是通过这样重复选取训练来增加神经X络集成的差异度，进而提高泛化能力。　　Boosting算法的思想是通过依次训练一组分量分类器，其中每个分量分类器的训练集都选择已有的其它各个分类器所给出的“最富信息”的样本点组成。分类器的结果决定着最终的判决结果。　　2.3噪声添加原理　　已有研究证明组成神经X络集成的各个体神经X络的差异越大，集成的效果越好。为了获

7、取差异性较大的个体X络，众多学者通过不同的初始条件、不同的训练算法和训练集、差异的X络拓扑结构来提高X络间的差异，获取较好的泛化能力。在神经X络训练中，研究者总是希望得到更多的训练数据，对每个随机过程通过增加观察点的数量来增加训练样本。对于现有的有限个样本，随机添加一定量的噪声点来增加样本个数，这样就可以用新训练样本来训练个体神经X络，使不同的个体X络训练在不同的样本集上，增加了个体X络的泛化能力，也提高了个体神经X络的预测精度。　　3、实验仿真　　本文选用了UCI机器学习知识库下面的标准数据集来进行模式识别仿真，

8、选用的是Iris数据集。Iris数据集由150组数据组成，每组数据包含有四个属性，分别是萼片与花瓣的长度和宽度。150组数据共分成三类，其分别是Setosa、Versicolour和Virginica，这其中每一类共有50组。在Iris数据集中，本文选用数据集中50％的数据作为生成神经X络集成的训练数据，而另外50％的数据用于对生成的神经X络集成系统进行仿真