最优化理论与应用-10

《最优化理论与应用-10》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最优化理论与应用第10讲-导数的近似计算电子科技大学自动化工程学院彭晓明1内容提要近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似2近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似3近似计算导数的意义许多优化问题都涉及到导数的计算举例：梯度、Hessian矩阵、Jacobian矩阵…理想的情况是能够给出导数的解析形式然而，有些情况下导数的解析形式我们无法获得4近似计算导数的意义这时，我们需要能够求解导数的近似值举例：原始图片f及其在水平和垂直方向的近似导数f和fxy5近似计

2、算导数的意义本课程讲授一种近似计算导数的方法：有限差分法(finitedifferencing)，包括梯度Jacobian矩阵Hessian矩阵6近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似7梯度的近似函数f(()x)关于x的第i个分量x的前向i差分(forward-difference)定义为其中，ε是一个很小的正数，e是一i个单位向量(除了第i个元素为1，其他元素皆为0)8梯度的近似∂f计算()x时需要计算目标函数在∂xix和x+εe,(i=1,2,…,n)等一共(n+1)i处的函数值前向差分依据

3、泰勒定理TT12fff()(xp+++=xp)+∇+∇∇(x)+p∇f()xpp+t2t(0,1)9梯度的近似如果在一个以x为中心的小区域里2面有∇⋅≤f()L，则有由于因此令p=εe,我们有iff()xe+−ε(x)∂f()xLi−≤εε∂x2i10梯度的近似也即当ε是一个很小的正数时δ趋近于0ε，从而我们得到了11梯度的近似∂f不难看出ε越小时估计()x越准∂xi确但是，在计算机上进行浮点数计算时存在舍入误差(roundofferror)(roundofferror)，因此ε不能任意小12梯度的近似舍舍误入误差差(()roundofferro

4、r)在计算机中一个实数用一个长度为64比特的信息（8个字节）表示为一个双精度的浮点数。这64个比特中的大部分(假设为t个)都用于表示该浮点数的小数部分，则2-t-1称为基本舍入单位(unitroundoff)(unitroundoff)，它描述一个浮点数的相对精度，也即13梯度的近似舍舍误入误差差(()roundofferror)当一个实数x表示为浮点数fl(x)时，有而对两个实数进行代数运算(加、减、乘、除)时结果也必须保存为浮点数，这一过程会引入“舍入误差”14梯度的近似舍舍误入误差差(()roundofferror)其中”*”表示代数运算在双精

5、度IEEE浮点数运算标准中u的值约为111.1×10-1615梯度的近似正因为舍入误差的存在，因此ε不能任意小，其接近最优的一个取值为∂f从而估计前向差分()x时的误差∂xi也很小，约为u16梯度的近似除了前向差分，还可以定义函数f(x)关于x的第i个分量x的中央差分i(l(central-difference)为17梯度的近似中央差分也依据泰勒定理，且可以证明(Nocedal,p.197)O(ε2)是一个关于ε2的很小的误差项，因此理论上中央差分的精度高于前向差分的精度(其误差项为δε=O(ε))18梯度的近似但同样由于舍入误差的存在，因此ε不能

6、任意小，其接近最优的一个∂f取值为u1/3，从而估计中央差分()x∂x时的误差约为u2/3.i19近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似20Jacobian矩阵的近似回忆一下Jacobian矩阵的定义：向量y(m维)关于向量x(n维)的导数是(也称为JbJacobiian矩阵，记为J())J(x))21Jacobian矩阵的近似记y=r(x)，如果在一个以x为中心T的小区域里面有JL()≤，则对于一个范数很小的向量p，有T2rr(xp+−−)()xJL()xp≤(/2)p令p=εp，我们可以得到Trr(

7、)xpx+−ε()JO()xp=+()εεrr()xpx+−ε()≈22εJacobian矩阵的近似如果要得到J(()x)我们有TT∂rrr()(xe+ε−x)i()x≈∂xεi正是Jacobian矩阵的第i行23近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似24Hessian矩阵的近似Hessian矩阵是一种特殊的Jacobian矩阵(即y=∇f()x的情况)因此，当我们有目标函数的梯度信息时，可以直接利用前面近似计算Jacobian矩阵的方法，即TT∂∇f∇∇∇ff()(xe+−ε∇x)i()x≈∂xεi2

8、5Hessian矩阵的近似而当我们没有目标函数的梯