[工学]4无约束优化方法

《[工学]4无约束优化方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、无约束优化方法可以利用极值定义，将上式变成求以下方程这是个n个变量n个方程的方程组，并且一般是非线性的。与其使用数值计算方法求解非线性方程组，不如用数值计算方法直接求解无约束优化问题无约束优化问题是：求n维设计变量使目标函数，而对没有任何限制条件。数值求优的方法主要是爬山法爬山法是利用已有的信息，通过计算点的一步一步的直接移动，逐步逼近并最后达到最优点。即给定初始点和搜索方向，沿该方向寻找最优点。每一步计算都应该达到两个目的：（１）获得目标函数的改进值（２）为下一步计算给出有用的信息爬山法的计算过程分两步：（１）选择爬山方向即搜索方向（２）在确定的方向上选择适当的步长进行探索搜索方向和步长的生

2、成及确定的方法不同，就派生出不同的n维无约束优化问题的算法无约束极小算法的粗框图随机方向法1、方向（1）随机选择一个方向（2）随机选择一个下降方向（3）随机选择n个下降方向，选下降最多的方向2、步长（1）随机选择一个步长（2）随机选择一个下降步长（3）加速步长法：先选择一个下降步长h，再以h的a(a>1)倍向前搜索，直到不下降为止3、找不到方向：以h的b(b<1)倍缩小步长，重找方向1)选择一个初始点xº，令x=xº,步长a=aº;2)产生k个n维随机单位向量，结合x、a计算出k个随机点xj(j＝l，2，…，k)；3)在k个随机点中，找出函数值最小随机点xL，产生可行搜索方向；找不到则a=0.

3、67a，返回(2)4)从初始点x出发，沿可行搜索方向d以步长1.33a进行迭代计算，直至探索到一个目标函数值不再下降的新点x’，返回(2)5)收敛条件随机方向法流程示例坐标轮换法该方法是每次搜索只允许一个变量变化，其余变量保持不变。他把多变量问题转换成单变量的优化问题，在搜索过程中可以不需要目标函数的导数。迭代步骤：（1）第1次迭代时，先固定x2=x2(0)变量值不动，由初始点X(0)沿x1轴向进行一维探索，得到该轴方向上的最优点X(0,1)=[x1(1),x2(0)]；（2）固定x1=x1(1)变量值不动，由初始点X(0,1)沿x2轴向进行一维探索，得到该轴方向上的最优点X(1)=[x1(1

4、),x2(1)]（3）将X(1)作为第1次迭代的改进点，之后，完全依照第1次的步骤进行第2、3、…、k次的坐标轮换迭代，直到满足精度要求后停止迭代。坐标轮换法的基本原理x1x2X*X(0,1)X(1)X(2)X(3)X(0)0x1(0)x1(1)x1(2)x1(3)x1*x2(0)x2(1)x2(2)x2(3)x2*一维搜索步长选择（1）随机选择一个下降步长（2）进退法加速步长法：进退法选择一个下降步长h，再以h的a(a>1)倍向前搜索，直到不下降为止（3）否则，进行下一轮搜索，一直到满足精度要求为止。对于n个变量的函数，若在第k轮沿第i个坐标方向进行搜索，其迭代公式为其中搜索方向取坐标方

5、向，即若，则，不同性质目标函数坐标轮换法的求优效能x1x2X(1)X*X(0)0x1x2X*X(0)X(1)X(2)X(3)X(4)0X(0)0x1x2X*X(1)收敛速度很快收敛速度很慢求优失效最速下降法所以，某点x处下降率最大的方向是其负梯度方向，称为最速下降方向。前面已经讨论过：最速下降法最速下降法即是以负梯度方向作为搜索方向，又称梯度法。所以，相邻两个迭代点上的函数梯度方向互相垂直根据一元函数极值的必要条件和复合函数求导公式，得：相邻两个迭代点上的函数梯度方向互相垂直，因此相邻两个搜索方向互相垂直。即在迭代点向函数极小点靠近的过程中，走的是之字形的曲折路线。可以看出，在远离极小点的地方

6、，每次迭代可以使函数值有较多的下降，而在接近极小点的地方，由于锯齿现象使每次迭代行进的距离缩短，因而收敛速度减慢。从局部上看，在一点附近函数的下降是快的，但从整体上看则走了许多弯路。求目标函数的极小点。解取初始值则初始点处函数值及梯度分别为沿负梯度方向进行一维搜索，有为一维搜索最佳步长，应满足极值必要条件从而算出一维搜索最佳步长及第一次迭代设计点位置和函数值经过10次迭代，得到最优值若将上例的目标函数引入变换其等值线就由一族椭圆变成一族同心圆，仍从即开始寻优此时有沿负梯度方向进行一维搜索，有为一维搜索最佳步长，可由极值条件算得得到第一次迭代的结果就是最优解最速下降法的收敛速度与变量的尺度关系很

7、大，下面是最速下降收敛速度的估计式式中的海赛矩阵最大特征值；其最小特征值。对于等值线为椭圆的二次型函数，其海赛矩阵两个特征值分别为。因此可见等值线为椭圆的长短轴相差越大，收敛就越慢。两个特征值相等，因此代入（4-4），有得即经过一次迭代便可到达极值点。梯度法的特点（1）理论明确，程序简单，对初始点要求不严格。（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。