多层感知器神经网络的局部泛化误差模型

《多层感知器神经网络的局部泛化误差模型》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工业大学工学硕士学位论文第1章绪论1.1课题背景多层感知器神经网络在模式识别、函数逼近、风险预测和控制等领域中有广泛的应用。可是仅对训练样本有很高的拟合能力是不够的，对新出现未知样本的泛化能力才是评价多层感知器神经网络是否有利用价值的重要标准，所以泛化误差模型一直是多层感知器神经网络中一个核心理论研究课题。现有的泛化误差模型只是基于多层感知器神经网络分类器的参数数量和训练样本数量来对其泛化能力进行估计，不能对实际应用中特定已训练的神经网络给出泛化能力有效的评价。实际应用中，训练样本往往是有限的，而且全样本空间的数据分布也是未知的，因此，训练的多层感知器神经网络也只

2、能对与训练样本“相似”的未知样本进行有效分类，所以为避免一些与训练样本差别太大的非训练样本误导对多层感知器神经网络的泛化能力的正确评估，迫切需要一种只针对局部样本空间新的泛化误差模型。本课题通过构造一个局部泛化误差模型，该模型能对单个多层感知器神经网络的泛化能力进行更加有效的评估。从而推动多层感知器神经网络泛化能力基础理论方面的研究，并为多层感知器神经网络在实际中更有效的应用打下基础。1.2本课题研究的目的及意义在机器学习中，多层感知器神经网络是为了模仿人脑运作提出来的一个数学模型，可以通过训练样本来训练一个多层感知器神经网络，并使用它来对一些非训练样本进行有效分类。对

3、于同一组的训练和非训练样本数据，由不同的训练参数和网络结构构成的多层感知器神经网络有不同的泛化能力，要如何比较和选择最优泛化能力的多层感知器神经网络来完成当前的分类任务呢？因此，需要一个有效的评价标准。一般情况，使用非训练样本组成的测试样本集来进行评估，而其所得的测试分类误差便成为判别一个多层感知器神经网络训练是否具有最优泛化能力的标准。但是，测试集中的非训练样本数量始终是有限的，它们不能代表全样本-1-哈尔滨工业大学工学硕士学位论文空间的数据分布。所以，测试误差虽然提供了比训练误差更好的泛化误差估计，但这一估计方法仍无法满足多层感知器神经网络的要求。因为训练样本集和测

4、试样本集一般是随机划分的，每一次实验得出的结果可能会有很大的差别。由于以上原因，出现了交叉验证等能降低实验随机性的方法，但是这些方法始终是实验性的方法。因此，研究者便提出了一些可解析的泛化误差数学模型，希望通过这些理论工作来提供一个好的评估多层感知器神经网络泛化能力的方法。然而，现有的解析的泛化误差模型中，都集中于使用多层感知器神经网络的参数个数和训练样本数等，而忽略了其参数数值或训练样本的统计特性(如输入特征的期望值和方差等)等因素。例如Vapnik提出的基于[22]VC-Dimension的泛化误差模型只使用了多层感知器神经网络中权的数量和训练样本数量等作为参数，该

5、模型评估两个有相同权数量，但权值不一样的多层感知器神经网络有相同的泛化能力，但是，众所周知一组不适当的权值会使一个多层感知器神经网络泛化能力非常差，所以，该模型是不合理的。实际应用中，训练样本往往是有限的，不可能从训练样本中得知全输入样本空间的数据分布，训练出来的多层感知器神经网络也只对与训练样本“相似”的非训练样本进行有效分类。例如在识别人脸的问题中，如果一个人脸样本与训练样本有很大差别，就算人类也不能辨别出眼前人是谁，又怎么能奢望多层感知器神经网络等人工智能工具能做出准确的识别呢？然而，现有的泛化误差模型都是用全输入空间的非训练样本来评价一个多层感知器神经网络的泛化

6、能力，这是不合理的，反而可能会使与训练样本相差极远或根本不会出现的非训练样本所造成的高误差而误导。所以，一个针对与训练样本“相似”的非训练样本(局部输入空间)的局部泛化误差模型是一个比较合理的模型。综上所述，需要一个能充分利用训练样本集数据统计特性、多层感知器神经网络参数数值和针对局部输入空间的局部泛化误差模型来评估多层感知器神经网络的泛化能力。解决该局部泛化误差模型，可以用它来进行多层感知器神经网络的训练参数选择、结构选择和输入特征选择等。从而提高多层感知器神经网络在模式识别问题应用中的准确率。解决这个局部泛化误差模型问题是对机器学习领域的一个基础的理论贡献，并且这一

7、理论成果会有很好的应用前景。本课题针对现在广泛应用的多层感知器神经网络，构造多层感知神经网络的局部泛化误差模型，推动多层感知器神经网络泛化模型的基础理论研究。-2-哈尔滨工业大学工学硕士学位论文1.3国内外研究历史和现状多层感知器神经网络在实际中有广泛的应用，而泛化误差模型的研究更是多层感知器神经网络研究的核心问题。以下就多层感知器神经网络和泛化误差模型的国内外研究历史和现状进行阐述。1.3.1多层感知器神经网络的历史与研究现状对于人脑的研究已经有上千年的历史了。随着电子时代的来临，用机器去模拟人脑的思维过程变得可能，这也是人工神经网络出