资源描述：
《线性及非线性最小二乘问题课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第5章线性与非线性最小二乘问题§5.1前言1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星.经过40天的跟踪观测后,由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果.时年24岁的高斯也计算了谷神星的轨道.奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星.高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中.而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为时人所知而默默无闻.两人曾为谁最早
2、创立最小二乘法原理发生争执.1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,称为高斯-马尔可夫定理.无约束最优化问题最小二乘的形式称为残量函数是x的线性函数线性最小二乘问题§5.2线性最小二乘问题的解法解线性最小二乘问题设为阶矩阵,为m维向量,线性最小二乘问题为求的最优解.其中为向量的范数.将按范数展开得对称矩阵至少半正定任一最优解都是全局最优解凸优化问题当向量b属于矩阵A的像空间则存在使否则问题的最优值不为零.设为问题的最优解不一定为零.一阶必要条件是问题的最优解法方程组A列满秩正规方程组正定方程组的解唯一且可表示为矩阵A的广义逆作为一个二次函
3、数的无约束优化对方程组的求解，一般采用矩阵的Cholesky分解，其中L下三角矩阵如果矩阵正定对于线性最小二乘问题，我们可以利用其问题的特殊结构，设计更为有效的求解方法。对于线线性最小二乘问题形成的矩阵不宜采用先计算矩阵再对它进行分解的方法的条件数是矩阵A的条件数的平方因为矩阵对称矩阵的三角分解定理设A为n阶对称矩阵,且A的所有顺序主子式均不为零,则A可唯一分解为其中L为单位下三角矩阵,D为对角矩阵.对称正定矩阵的三角分解或Cholesky分解设A为n阶对称正定矩阵,当限定L的对角元素为正时,这种分解是唯一的.则存在一个实的非奇异下三角矩阵L使得矩阵的QR分解
4、为避免计算乘积矩阵再进行分解，可以采用对增广矩阵作QR正交分解的方法。设A列满秩其中Q为m×m阶正交矩阵为n×n上三角矩阵因此最优解x*可由三角方程组经回代确定求线性最小二乘问题最优解正交分解算法如下:步1.对增广矩阵[Ab]作QR正交分解得和向量步2.取为向量的前n个分量形成的向量步3.用回代解方程组得解在上述QR正交分解算法的分析过程中我们假定矩阵A的列线性无关.当矩阵A的列线性相关,即A不是列满秩时,矩阵A的QR正交分解是一个r×r非奇异的上三角矩阵r=rank(A)＜n表示矩阵A的秩数表示由向量的前r个分量组成的向量这时确定最优解的方程组利用矩阵A的奇
5、异值分解设A为m×n(m＞n)阶矩阵则存在m×m阶正交矩阵U和n×n阶正交矩阵V使得其中S为m×n阶的块对角矩阵为r×r阶对角矩阵为矩阵A的奇异值A的秩为r＜n最小二乘法解不唯一极小范数最小二乘解规范最小二乘解范数最小其中是最小二乘问题所有解的集合.即在所有最小二乘解中当r=n时,最小二乘解唯一由奇异值分解所确定的矩阵§5.3非线性最小二乘的Gauss-Newton法考虑非线性最小二乘问题其中为的非线性函数，称为残量函数.如果函数r(x)二阶连续可微，则f(x)的一阶和二阶导数(Hesse矩阵)分别为牛顿法拟牛顿法算法(Gauss-Newton法)步1.给定解
6、的初始估计置k=1;步2.如果满足精度要求,停止迭代;步3.解方程组步4.置k:=k+1后转步2;算法(阻尼Gauss-Newton法)步1.给定解的初始估计，置k=1;步2.如果满足精度要求,停止迭代;步3.解方程组并置步4.沿方向进行线性搜索,确定步长置,k:=k+1后转步2.§5.4信赖域方法信赖域方法是求解最优化问题的另一类有效方法，其最初的设计思想可追溯至Levenberg和Marquardt对Gauss-Newton法的修正。离最优解较远时和确定的点满足比较大,超出了有效的邻域不能保证而且对于越大的正数,解向量的长度越短,因此,必可找到适当的值,使
7、在的一个较小的邻域内,从而有其中是Hesse阵的近似为信赖域半径．根据模型函数对目标函数的拟合程度来调整信赖域半径对于问题(1)的解定义比值：它衡量模型函数与目标函数的一致性程度．实际下降量预测下降量注：(1)越接近于１，表明模型函数与目标函数的一致性程度越好，可以增大以扩大信赖域．(2)不接近于１，可以保持不变．(3)接近于零或取负值，表明模型函数与目标函数的一致性程度不好，可以减小以缩小信赖域．步1.给定控制迭代的参数值,初始点,以及初始信赖域半径,置k=1;步2.如果满足终止条件,停止迭代,取作为最优解的近似;步3.对解信赖域子问题得解步4.计算和步5.
8、如果,置,转步3;步6.置转步2.
