3 第三章 参数估计与非参数估计

《3 第三章 参数估计与非参数估计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章参数估计与非参数估计分类器功能结构•参数估计与监督学习•参数估计理论•非参数估计理论基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数基于样本直接确定判别函数方法12基于样本的Bayes分类器设计基于样本的Bayes分类器pP(

2、)()xωω•Bayes决策需要已知两种知识：P(

3、)ωx=iii∑pP(

4、)()xωjjω样本分布的–各类的先验概率P(ωi)j决策规则：训练统计特征：–各类的条件概率密度函数p(x

5、ωi)判别函数样本集概率©知识的来源：对问题的一般性认识或

6、一些训练数据决策面方程密度函数©基于样本两步Bayes分类器设计¾利用样本集估计P(ωi)和p(x

7、ωi)•最一般情况下适用的“最优”分类器：错误率最¾基于上述估计值设计判别函数及分类器小，对分类器设计在理论上有指导意义。©面临的问题：•获取统计分布及其参数很困难，实际问题中并不一¾如何利用样本集进行估计¾估计量的评价定具备获取准确统计分布的条件。¾利用样本集估计错误率34直接确定判别函数§3-1参数估计与监督学习•基于样本直接确定判别函数方法：一．参数估计与非参数估计–针对各种不同的情况，使用不同

8、的准则函数，设计出满足这些不同准则要求的分类器。参数估计：–这些准则的“最优”并不一定与错误率最小相一致：先假定研究问题具有某种数学模型，如正次优分类器。态分布，二项分布，再用已知类别的学习–实例：正态分布最小错误率贝叶斯分类器在特殊情样本估计里面的参数。况下，是线性判别函数g(x)=wTx（决策面是超平非参数估计：面），能否基于样本直接确定w?不假定数学模型，直接用已知类别的学习选择最佳准则决策规则：训练样本集判别函数样本先验知识估计数学模型。决策面方程561§3-1参数估计与监督学习（续2）§3

9、-1参数估计与监督学习（续1）ò下图表示对一幅道路图像按路面与非路面分类可用两种不同做法，其中左图是在图像中路面区与非路面中各找一个窗口，将其中每个象素分别作为这两二．监督学习与无监督学习类的训练样本集，用这两个样本集在特征空间的分布参数进行设计。监督学习：在已知类别样本指导下进行学习和训练，可以统ò而无监督学习方法则不同，它不预先选择样本类别的样本集，而是将整幅图计出各类训练样本不同的描述量，如其概率分的像素都作为待分类样本集，通过它们在特征空间中表现出来的聚类现象，布，或在特征空间分布的区域等，

10、利用这些参把不同类别划分开。ò图中有监督学习，样本集分布呈现交迭情况，而无监督学习方法由于没有类数进行分类器设计，称为有监督学习。参数估别样本指导，无法确定它们的交迭情况，只能按分布的聚类情况进行划分。计和非参数估计都属于监督学习。无监督学习：不知道样本类别（也就是说没有训练样本），只知道样本的某些信息，然后利用这些信息进行估计，如：聚类分析。参数估计也属于无监督学习。78§3-1参数估计与监督学习（续3）§3-1参数估计与监督学习（续4）ò非监督学习与有监督学习方法的区别：3．非监督学习方法寻找数

11、据集中的规律性，这种规律性并1．有监督学习方法必须要有训练集与测试样本。在训练集中找规律，不一定要达到划分数据集的目的，也就是说不一定要而对测试样本使用这种规律；“分类”。这一点比有监督学习方法的用途要广泛。譬而非监督学习没有训练集这一说，只有一组数据，在该组数据集内寻如分析一堆数据的主分量，或分析数据集有什么特点都找规律。可以归于非监督学习方法的范畴。2．有监督学习方法的目的就是识别事物，识别的结果表现在给待识别数据加上了标号。因此训练样本集必须由带标号的样本组成。4．用非监督学习方法分析数据集的

12、主分量,与用K-L变换计算数据集的主分量又有区别。应该说后者从方法上讲不而非监督学习方法只有要分析的数据集本身，预先没有什么标号。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不以与是一种学习方法。因此用K-L变换找主分量不属于非监督某种预先的分类标号对上号为目的。学习方法。例如上图的道路图像，有监督学习方法的目的是找到“道路”，而非通过学习逐渐找到规律性是学习方法的特点。在人工神监督学习方法则只是将中间一条带状区域区分开来，本质上讲与“道经元网络中寻找主分量的方法属于非监督学习方法。路”

13、这个标号没有关系。910贝叶斯分类器中只要知道先验概率P(ω),类条¾类条件概率密度函数估计：两大类方法i件概率P(x/ωi)或后验概率P(ωi/x)就可以设计分类–参数估计：概率密度函数形式已知，而表征函器了。现在研究,如何用已知训练样本信息估计数参数未知，需通过训练数据来估计P(ωi),P(x/ωi),P(ωi/x)•最大似然估计•Bayes估计概率密度估计方法–非参数估计：概率密度函数形式未知，也不作¾类先验概率P(ωi)的估计：假设，利用训练数据直接对概率密度