机器学习机器学习考题.doc

《机器学习机器学习考题.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、机器学习考题ly，20111219，G417一、样本满足高斯分布，用最大似然估计求其均值和方差。阐述优点和缺点。最大似然估计法是建立在最大似然原理基础上的求估计量的方法。优点：复杂程度低，较易理解，均值的估计是无偏估计和有效估计，方差的估计是有效估计。缺点：没有考虑先验知识，方差的估计值不是无偏估计。一、举例说明两种线性分类器的分类方法的基本原理，并讨论它们的区别和联系。决策面为超平面的分类器称为线性分类器。最小二乘策略：Fisher分类准则：找到一个最合适的线性判别函数y=wt作为投影轴，使不同的样本类在该轴上的投影之间的距离尽可能远，而每一类样本的投

2、影尽可能紧凑。从而使分类效果最佳。这两种方法的联系是都是线性的、确定性的方法，都采用了y=wt的线性判别函数。区别是1）最小二乘是监督学习，Fisher分类准则是无监督学习。2）最小二乘是将y与特定值进行比较从而进行分类，而Fisher分类准则是根据不同样本的y计算目标函数，使得同类的样本y值尽可能接近，不同类的样本y值尽可能远。二、阐述支持向量机的基本原理。SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题．简单地说，就是升维和

3、线性化．升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分(或回归)．一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论．一、以K均值聚类为例，阐述

4、EM算法的基本原理。EM算法是1977年提出的求参数极大似然估计的一种方法，是一种非常简单实用的学习算法。EM算法包括两个步骤：由E步和M步组成，它是通过迭代地最大化完整数据的对数似然函数L的期望来最大化不完整数据的对数似然函数。通过交替使用这两个步骤，EM算法逐步改进模型的参数，使参数和训练样本的似然概率逐渐增大，最后终止于一个极大点。直观地理解EM算法，它也可被看作为一个逐次逼近算法：事先并不知道模型的参数，可以随机的选择一套参数或者事先粗略地给定某个初始参数λ0，确定出对应于这组参数的最可能的状态，计算每个训练样本的可能结果的概率，在当前的状态下再

5、由样本对参数修正，重新估计参数λ，并在新的参数下重新确定模型的状态，这样，通过多次的迭代，循环直至某个收敛条件满足为止，就可以使得模型的参数逐渐逼近真实参数。EM算法的主要目的是提供一个简单的迭代算法计算后验密度函数，它的最大优点是简单和稳定，但容易陷入局部最优。一、通过含有一层隐藏层的神经网络推导BP反传算法。一、简述DiscreteAdaboost的基本原理，并探讨它在某一领域的应用。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这Adaboost些弱分类器集合起来，构成一个更强的最终分类器(强分类器

6、)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。目前，对adaBoost算法的研究以及应用大多集中于分类问题，同时近年也出现了一些在回归问题上的应用。就其应用adaBoost系列主要解决了:两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练

7、样本进行学习。二、给定一幅带噪声的二值图像，如何通过马尔可夫随机场进行降噪处理。马尔可夫随机场包含两层意思：一是马尔可夫性，二是随机场。马尔可夫性是指一个过程的将来仅依赖现在而不依赖过去。随机场包含两个要素：位置和相空间。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。马尔可夫随机场有效地描述了随机场的局部特性，表达了当前像素点的标记仅与其邻域中的像素有相互作用，而与其它位置的像素标记情况无关。马尔可夫随机场方法是建立在MRF模型和Bayes理论的基础上的，本方法将图像的先验知识转化为先验分布模型来描述，采用最大后验估计来得到

8、图像噪声的分布，然后根据统计决策和估计理论中的最优准则确定图像降噪问题的目标函数