最优化算法理论与应用

《最优化算法理论与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、课程名：最优化算法理论与应用单位：清华大学自动化系电子信箱：swang@mail.tsinghua.edu.cn教师：王书宁电话：62783371讲课时间：2008年3月12日起每周三下午2点开始讲课地点：自动化所自动化大厦优化方法基本分类本门课程有关事宜优化问题基本分类优化问题基本分类例、和优化联系非常密切的一类问题（回归、辨识、估计、训练、学习、拟合、逼近…）已知某个标量和某个向量之间若干一一对应的样本数据要确定一个函数，使在包含所有样本数据的某个集合里能够用描述和之间的对应关系，即使误差对任意的都尽

2、量小基本方法：选择含有待定参数的函数，通过极小化某种样本误差确定待定参数得到所需函数常用范数的样本误差于是，最终要解决的是下述优化问题这是连续变量无约束优化问题对于采用范数形成的优化问题为克服目标函数不可导的困难，可以等价转换成下面的连续变量约束优化问题特别是，当是的线性函数时，即上面的优化问题是线性规划问题可以选择足够多的基函数使优化问题的样本误差任意小，这样得到的模型在样本集以外通常会产生很大的预报误差，这就是所谓过度拟合或过度训练问题。解决该问题的根本途经是同时极小化基函数的个数，理论上要解决连续和

3、离散变量混合的优化问题其中是设定的正的权值前面的例子包含了优化问题最基本的类型线性与非线性无约束与有约束连续变量与离散变量后者相对于前者在难度上均有质的改变具有不确定性和动态特性的问题转换成上述问题优化方法基本分类例基本方法：从之间的任一点出发，朝着能够改进目标函数的方向搜索前进，直至目标函数不能改进肯定能够收敛到一个局部最优解，不能保证全局最优跳出局部陷阱的唯一途经是在搜索过程中允许前进到目标函数值变差的点，如在之间容许目标函数下降才有可能找到全局最优解由此产生新问题，无法保证算法收敛为了使算法收敛，只

4、能引入不确定性，让算法在任何一点以一定的概率前进到邻近的某点，移动概率和相应点的目标函数值正相关，所以由此产生的算法是结果不确定的算法前面的例子包含了优化方法最基本的类型确定型搜索与不确定型搜索前者是经典的优化教材介绍的主要内容，后者包括模拟退火、禁忌搜索、遗传算法、免疫算法、蚂蚁算法等方法，一般统称为智能算法本课程主要讨论基于确定性搜索的优化方法后期简单介绍基于不确定性搜索的优化方法本门课程有关事宜教材：运筹学（第二版），刁在筠等编，高教出版社自第2章到第6章按教材顺序讲课，内容有增减在第6章后增加一些

5、不确定型搜索方法的内容考核：考试（开卷）成绩占80％，平时作业占20％，成绩为所有平时作业成绩的平均值