基于蚁群算法和神经网络的非线性回归研究

《基于蚁群算法和神经网络的非线性回归研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于蚁群算法和神经网络的非线性回归研究1前言回归分析法，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。工程上当对某问题一无所知的情况下，常通过线性回归来分析推算数学模型。但对于大型复杂的问题，线性回归分析就显得力不从心，于是非线性回归成为大家的研究热点。其中将神经X络用于非线性回归研究是一个方向，但神经X络中节点的权值最佳化很难处理，有学者采用了遗传算法来实现，但是效果不佳。本文尝试通过蚁群算法和神经X络的结合进行非线性回归分析得到了较理想的效果。2基本构思神经X络算法要求X络各连结：路径数越多，蚂蚁的选择越多，出现靠近最佳解

2、的机率也就越多；同时路径数越多计算量也就越大，造成X络系统计算耗时的情况也就越严重。（2）变异量α：作用是产生介于（-α~α）的随机数，分别加入基础权值组合中改变个别的大小，产生新的权值组合。变异量的大小不可过大以避免发散，同时要根据情况改变大小，达到搜索最小值以及跳跃区间最小值的目的。2.2开发开发是指蚂蚁在路径选择时的动作，是针对个别路径选择当次的最佳解，其判别指标是信息素τ的值，在每次X络学习时选出最佳权值组，累积信息素浓度。然后在每轮结束时选出最佳权值组当作下一轮的基础权值组。整个开发行为运用的公式如下：误差函数：（1

3、）概率运算：（2）其中权值组有1~m组，T代表当次学习输入值的对应的正确输出值。Yn代表第n组时的X络计算输出，代表第n组时的En倒数，Mk则是计算的限制条件，β代表En的重要性。选择式：（3）当所有概率介于0~q0时选出最大的那组P（n）,若大于q0则直接选择。将选择组作信息素更新：（4）ρ为信息素蒸发量，作用在避免某组权值累积过大，而影响较佳解被选择的机率，建议设定在0.5~1之间。各组τ初始设定不可为0，以避免计算错误。Δτ的增加设定为一固定值，可判断信息素累积大小即可。2.3运算方式神经X络的运作是以曲线拟合的方式工

4、作，它可以找出自变量和因变量之间的规则，其权值结构往往无法解读，根据这一特点结合蚁群算法，可将不同匹配的权值组合视作不同长度的路径，如图1将隐藏层所有权值看作为一个组合，数据用X表示，经过不同权值组合输出不同的解Y，再由Y与核对输出数据T比较产生不同的E,在此，E值代表判断路径长短的指标。经过由探索动作所产生不同笔数的路径，再经过开发动作以信息素浓度选择，便产生如图1路径上颜色深浅不同的浓度结果，挑选出相对浓度较高者即为较佳的路径。考虑到本文研究的目的在于使神经X络快速收敛，所以蚁群最佳化的更新采用批次学习，其主要影响的是信息素的更新方式。图1：蚁群神经X络运算结构图2

5、.4蚁群算法的学习与更新蚁群神经X络学习的方式与BP神经X络相同，采用监督式批次学习方式，整体运作模式如图2所示。当X络结构设定完成后，以初始权值组为基础，使用介于（）的随机数产生m组不同组合的权值组，也就是探索。然后运用学习资料，以一批为单位在X络中计算，此时称作区域更新，每一笔数据通过X络计算后输出得m+1组（包括基础作用权值组）不同的E值，使E值最小的那组权值信息素增加更新一次，用以表示蚂蚁走过。其后将整批权值更新其信息素，因此蚂蚁的数量与当批资料的笔数相同。当整体资料学习完毕便算是一轮，其后挑选出信息素浓度最高的那组权值作为下一轮权值变化的基础权值，此时的这个动

6、作便是总体更新。通过反复计算，在设定轮数完了，或E达到设定上的最小值时结束。图2：整体X络学习更新流程图2.5蚁群X络的状态转移2.5.1探索规则：起始探索方式，设定随机运算探索变异量α应较大，以便在学习初期以较快的速度逼近最佳解，如图3A，以α为初始设定解开始，并以α为中心探索一个以变异量为α范围而产生多组解，再通过开发机制觅得一组较佳解b，重复相同动作之后觅得一组更优解c（图3B）。如果在极接近最佳解的状态下仍以α为探索的随机变异量，探索范围过大，使得探索产生的解易偏离最佳解，导致系统无法再向最佳解逼近，因

7、而停滞不前（如图3C）。此时需考虑将随机变异量α作调整，迫使蚂蚁能有较佳的效率探索，进而使系统能获得最佳权值组（如图3D），需设定状态转移规则。图3：蚁群X络探索与开发规则示意图2.5.2制定状态转移规则：在本研究中，制定状态转移规则是以系统搜索范围缩小为目的，以促使最佳解的精度提高，可以归纳为以下两种：（1）判定权值不再改变：本研究中探索模式在于搜索可行解，探索的方式是以上一轮中蚂蚁选择的解作为基础而做延伸，当此轮得出的解仍以上一轮的解为较佳解时，表明系统在搜索中已经相当接近最佳解。此时便以一判别式作为修正变异量&alpha