最优化理论与应用-10

最优化理论与应用-10

ID:34536613

大小:1.30 MB

页数:31页

时间:2019-03-07

最优化理论与应用-10_第1页
最优化理论与应用-10_第2页
最优化理论与应用-10_第3页
最优化理论与应用-10_第4页
最优化理论与应用-10_第5页
资源描述:

《最优化理论与应用-10》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、最优化理论与应用第10讲-导数的近似计算电子科技大学自动化工程学院彭晓明1内容提要近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似2近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似3近似计算导数的意义许多优化问题都涉及到导数的计算举例:梯度、Hessian矩阵、Jacobian矩阵…理想的情况是能够给出导数的解析形式然而,有些情况下导数的解析形式我们无法获得4近似计算导数的意义这时,我们需要能够求解导数的近似值举例:原始图片f及其在水平和垂直方向的近似导数f和fxy5近似计

2、算导数的意义本课程讲授一种近似计算导数的方法:有限差分法(finitedifferencing),包括梯度Jacobian矩阵Hessian矩阵6近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似7梯度的近似函数f(()x)关于x的第i个分量x的前向i差分(forward-difference)定义为其中,ε是一个很小的正数,e是一i个单位向量(除了第i个元素为1,其他元素皆为0)8梯度的近似∂f计算()x时需要计算目标函数在∂xix和x+εe,(i=1,2,…,n)等一共(n+1)i处的函数值前向差分依据

3、泰勒定理TT12fff()(xp+++=xp)+∇+∇∇(x)+p∇f()xpp+t2t(0,1)9梯度的近似如果在一个以x为中心的小区域里2面有∇⋅≤f()L,则有由于因此令p=εe,我们有iff()xe+−ε(x)∂f()xLi−≤εε∂x2i10梯度的近似也即当ε是一个很小的正数时δ趋近于0ε,从而我们得到了11梯度的近似∂f不难看出ε越小时估计()x越准∂xi确但是,在计算机上进行浮点数计算时存在舍入误差(roundofferror)(roundofferror),因此ε不能任意小12梯度的近似舍舍误入误差差(()roundofferro

4、r)在计算机中一个实数用一个长度为64比特的信息(8个字节)表示为一个双精度的浮点数。这64个比特中的大部分(假设为t个)都用于表示该浮点数的小数部分,则2-t-1称为基本舍入单位(unitroundoff)(unitroundoff),它描述一个浮点数的相对精度,也即13梯度的近似舍舍误入误差差(()roundofferror)当一个实数x表示为浮点数fl(x)时,有而对两个实数进行代数运算(加、减、乘、除)时结果也必须保存为浮点数,这一过程会引入“舍入误差”14梯度的近似舍舍误入误差差(()roundofferror)其中”*”表示代数运算在双精

5、度IEEE浮点数运算标准中u的值约为111.1×10-1615梯度的近似正因为舍入误差的存在,因此ε不能任意小,其接近最优的一个取值为∂f从而估计前向差分()x时的误差∂xi也很小,约为u16梯度的近似除了前向差分,还可以定义函数f(x)关于x的第i个分量x的中央差分i(l(central-difference)为17梯度的近似中央差分也依据泰勒定理,且可以证明(Nocedal,p.197)O(ε2)是一个关于ε2的很小的误差项,因此理论上中央差分的精度高于前向差分的精度(其误差项为δε=O(ε))18梯度的近似但同样由于舍入误差的存在,因此ε不能

6、任意小,其接近最优的一个∂f取值为u1/3,从而估计中央差分()x∂x时的误差约为u2/3.i19近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似20Jacobian矩阵的近似回忆一下Jacobian矩阵的定义:向量y(m维)关于向量x(n维)的导数是(也称为JbJacobiian矩阵,记为J())J(x))21Jacobian矩阵的近似记y=r(x),如果在一个以x为中心T的小区域里面有JL()≤,则对于一个范数很小的向量p,有T2rr(xp+−−)()xJL()xp≤(/2)p令p=εp,我们可以得到Trr(

7、)xpx+−ε()JO()xp=+()εεrr()xpx+−ε()≈22εJacobian矩阵的近似如果要得到J(()x)我们有TT∂rrr()(xe+ε−x)i()x≈∂xεi正是Jacobian矩阵的第i行23近似计算导数的意义梯度的近似Jacobian矩阵的近似Hessian矩阵的近似24Hessian矩阵的近似Hessian矩阵是一种特殊的Jacobian矩阵(即y=∇f()x的情况)因此,当我们有目标函数的梯度信息时,可以直接利用前面近似计算Jacobian矩阵的方法,即TT∂∇f∇∇∇ff()(xe+−ε∇x)i()x≈∂xεi2

8、5Hessian矩阵的近似而当我们没有目标函数的梯

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。