提高BP神经网络泛化能力的方法.doc

《提高BP神经网络泛化能力的方法.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、提高BP神经网络泛化能力的方法  2011-09-2715:03:03

2、  分类： 默认分类

3、举报

4、字号 订阅人工神经网络以其智能性见长，那么神经网络能真的学到一个映射的本质吗？也就是说，对一个映射给出一定的必要的训练样本训练后，网络能否对样本以外的样本给出较为准确的预测。泛化能力也就是神经网络用于对未知数据预测的能力。神经网络对训练样本区间范围内的样本有较好的泛化能力，而对于训练样本确定的范围外的样本不能认为有泛化能力。常规的几种增强泛化能力的方法，罗列如下：1、较多的输入样本可以提高泛化能力；但不是太多，过多的样本导致过度拟合，泛化能力不佳；样本包括至少一次的

5、转折点数据。2、隐含层神经元数量的选择，不影响性能的前提下，尽量选择小一点的神经元数量。隐含层节点太多，造成泛化能力下降，造火箭也只要几十个到几百个神经元，拟合几百几千个数据何必要那么多神经元？3、误差小，则泛化能力好；误差太小，则会过度拟合，泛化能力反而不佳。4、学习率的选择，特别是权值学习率，对网络性能有很大影响，太小则收敛速度很慢，且容易陷入局部极小化；太大则，收敛速度快，但易出现摆动，误差难以缩小；一般权值学习率比要求误差稍微稍大一点点；另外可以使用变动的学习率，在误差大的时候增大学习率，等误差小了再减小学习率，这样可以收敛更快，学习效果更好，不易陷入局部

6、极小化。5、训练时可以采用随时终止法，即是误差达到要求即终止训练，以免过度拟合；可以调整局部权值，使局部未收敛的加快收敛。