人工神经网络在数据挖掘中的应用研究

《人工神经网络在数据挖掘中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、辽宁工程技术大学硕士学位论文人工神经网络在数据挖掘中的应用研究姓名：崔丽群申请学位级别：硕士专业：计算机应用技术指导教师：刘万军20040201摘要神经网络在数据挖掘的应用中主要存在两个问题，一是训练时间过长；二是获得的知识难以理解和表示。神经网络中的规则提取方法是解决“黑箱问题”的有效手段，论文分析了基于结构分解和基于输入输出映射的神经网络规则提取的基本思想和对应的各种算法，并对它们的性能进行比较。BP算法是多层前向神经网络中应用最为广泛的一种算法，但是由于BP算法实质上是一种基于梯度下降的搜索算法，因此它存在着算法效率较低、收敛速度慢、易于陷入局部

2、极小值等现状；对于较大的搜索空间、多峰值和不可微函数常常不能搜索到全局极小点，这些制约了BP网络在各个领域中的应用，本文从BP网络的工作原理出发，分析产生局部极小的原因，提出了对BP网络全局优化的改进策略。全局优化改进策略从基于网络模型的优化和基于网络算法的优化两个方面考虑。基于网络模型的优化重点对结构参数中的初始权值的选取、学习系数、神经元的激励函数及误差函数提出改进方法；基于网络算法的改进主要包括基于标准数值优化的改进方法和基于标准梯度下降的改进方法。通过对BP改进模型的比较的研究及实验证明：改进的BP算法缩短了学习时间、提高了学习效率，不仅满足了

3、误差目标的要求，而且提高了网络的泛化能力，在一定程度上避免了学习中的局部极小问题，实现了全局优化。关键词：数据挖掘；神经网络；BP网络：规则提取；改进算法；局部极小；全局优化AbstractThetwoproblemsofdataminingusingneuralnetworksarethelongtrainingtimeandbeingunderstoodandexplicitrepresentationoftheacquiredknowledge．Theruleextractionofneuralnetworksisdiscussed，whichi

4、saneffectivemethodtoavoidshortcomingofbeing“blackboxes”．Techniquesbasedondecompositionalandinput—outputmappingapproachesarestudied，theirfundamentalconceptsandpedagogicalruleextractionarecomparedindetail．TheBPalgorithmiskindofalgorithmwhichisinusewidelyinmultilayerneuralnetwork，b

5、ecausetheBPalgorithmisakindofgradientdescendedsearchingalgorithminessence，ithasweaknessessuchasinefficient，slowconvergentspeedandeasygettingintolocalminimum，insurabletofindglobalextremevaluepointformulti-modalandnon-differentialfunctioninlargersearchingzone，whichrestrictneuralne

6、twork’Sapplicationinallfields．Sofromtheprinciple，analysisthereasonsofBPalgorithmtobedroppedinlocalminimizationandproposeaglobaloptimastrategy．Theglobaloptimastrategyisdiscussedfromtwoaspects，oneofimprovedstrategybasedonmodel，andanotherbasedonalgorithm．Acomparativestudyonsometypi

7、calimprovedmodelsofBPnetworks，whichbasedonGradientdescentandnumericaloptimizationareproposed．ExperimentsresultsshowthatthemodifiedBParithmeticnotonlyhasshortedstudytime，highefficiency，butalsomeetwiththeerrorgoal，improvethegeneralizationcapability．Soitcanavertedfromgettingintoloc

8、alminimuminsomedegreeandachieveglobaloptimizati