3模式识别与机器学习期末考查

《3模式识别与机器学习期末考查》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别与机器学习期末考查试卷研究生姓名：王晓薇学号：20110777入学年份：2011导师姓名：吴庆祥试题1（15%）：列出你所知道的模式识别与机器学习中的常用算法,并给出其优缺点。答：1.k-近邻法近邻法是一种最简单的非参数模式识别方法中的模式匹配法,它主要依据样本间的多维空间距离来实现分类.其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki,i＝1，…，c。定义判别函数为：gi(x)=ki,i=1,2,…,c。决策规则为：优点：算法简单，易于理解和分析，分类效果好,在训练样本趋于无穷大时接近最优。缺点：可以明显看出它需要的计算量大，存储容量大；没有考

2、虑到决策的风险；对于近邻法错误率的分析都是建立在样本数趋向于无穷大的假定上的，而这在实际应用时是很难实现的。而对有限样本集的情况，又缺乏理论上的分析。2.贝叶斯决策理论贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分，是基于概率统计的基本的判别函数分类理论。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1.已知类条件概率密度参数表达式和先验概率2.利用贝叶斯公式转换成后验概率3.根据后验概率大小进行决策分类设D1，D2，……，Dn为样本空

3、间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，得到贝叶斯公式：优点：（1）算法简单，易于理解和分析，其基本概念被众多的先进决策算法运用，判断结果较精确；（2）能对信息的价值或是否需要采集新的信息做出科学的判断；（3）它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或者是完全相信，或者是完全不相信。（4）如果说任何调查结果都不可能完全准确，先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了；（5）它可以在决策过程中根据具体情况下不断地使用，使决策逐

4、步完善和更加科学。缺点：（1）它需要的数据多，分析计算比较复杂，特别在解决复杂问题时，这个矛盾就更为突出。（2）有些数据必须使用主观概率，有些人不太相信，这也妨碍了贝叶斯决策方法的推广使用。3.逆向传播神经网络逆向传播神经网络的优点：（1）每个神经元的运算功能十分简单。（2）各神经元之间是并行结构互使得其具有高速处理能力。（3）在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系，知识存储容量很大。（4）网状结构似的整个系统的工作不会因为个别的神经元的损失而大大降低系统性能。（5）它可以实现输入和输出数据之间的非线性映射.逆向传播神经网络的缺点：（1）算法的稳定性与学效率成反比。（2

5、）还没找到某一明确的规则确定学效率的大小，尤其相对于非线性网络来说，学效率的选择更是一个难题。（3）训练过程也可能陷入局部最小，可以通过变换初始值进行多次训练来决绝这个问题，但又增加了计算的负担。（4）没有有效的方法可以确定网络层数，太多或太少都会影响系统的性能。4.遗传算法遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。遗传算法的优点：（1）遗传算法解决了传统优化算法容易误入局部最优解的缺点，不用单值迭代，而是从解集合进行搜索，利于全局择优。（2）遗传算法需要的参数少，容易形成通用

6、算法程序。（3）遗传算法有极强的容错能力，遗传算法的初始串集本身就带有大量与最优解甚远的信息；该算法具有收敛性，通过选择、交叉、变异操作能迅速排除与最优解相差极大的串。（4）遗传算法是采用随机方法进行最优解搜索，选择体现了向最优解迫近，交叉体现了最优解的产生，变异体现了全局最优解的复盖。（5）力称为隐含并行性(ImplicitParallelism)。它说明遗传算法其内在具有并行处理的特质。遗传算法的缺点：（1）选取的值范围大，变量多时，收敛速度也随之下降，甚至有时还无法给定取值范围。（2）可找到最优解附近，但无法精确确定最优解位置。（3）遗传算法的参数(n,Pm,Pc)选择还没准确的定数，还

7、需要进一步研究其数学基础理论。5.决策树算法决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。优点：由于决策树具有易构造、结构简单、易于理解、分类精度高，且易于转化成SQL语句有效地存取数据库，易于算法实现等优点，决策树尤其适于数据挖掘。描述简单，分类速度快，特别适合大规模的数据处理。缺点：在学习过程中不能有很多背景知识。是非递增学习算法；ID3决策树