第九章非监督模式识别

《第九章非监督模式识别》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第九章非监督模式识别2012引言3监督与非监督学习方法比较监督模式识别：（已知）样本集→训练（学习、分类器设计）→识别（分类）非监督模式识别：（未知）样本集→非监督学习（聚类分析）→后处理4两大类非监督学习方法1.基于概率密度函数/模型估计的直接方法：设法找到各类别在特征空间的分布参数再进行分类2.基于样本间相似性度量的间接聚类方法：设法定出不同类别的核心或初始类核，然后依据样本与各核心之间的相似性度量将样本聚集成不同类别原始遥感图像聚类分析结果基于模型的方法6单峰子集分离的投影方法基本假定：各个聚类的样本分布是单峰的，根据总体分布中的单峰来划分子集利用投影方法实现单峰子集的

2、分离：将样本投影到根据某种准则选择的一维坐标轴，在这一维上计算样本的概率密度（边缘概率密度），根据这一概率密度函数的单峰划分子集（如果这一维上只有一个峰，则寻找下一个投影方向）7单峰子集分离的投影方法投影方向：使方差最大的方向，即协方差阵特征值最大的特征向量方向算法步骤1.计算样本协方差矩阵的最大特征值对应的特征向量u，将样本j投影到u上（K-L变换）jvuTxp()v2.对投影后的数据jj，用非参数方法估计概密函数jp()v3.找到j的极小点（谷点），在这些极小点上作垂直于uj的超平面，得到子集的划分p()v4.如果j没有极小点，则用下一个最大特征值相应的特征向量作为投影方向

3、，重复步骤2~35.对划分所得各个子集进行同样的过程，直至每个子集都是单峰为止8单峰子集分离的投影方法投影方向的选择有效聚类聚类失败9单峰子集分离的迭代算法聚准函：类则数cc12Jf[(

4、)(

5、)](),yyyijfpdy2ij11cwhereSi,(j),N,iijiii1NNNSf,(

6、)yyip(

7、)iiiiN迭代算法步骤考查某样本y从移入kji1.对数据集S选定一个初始划分ffff(yyyy

8、)(

9、),(

10、)(

11、),iijj2.对S中的每一个样本y，逐一计1andffKij(,yyk)算并

12、f(

13、)yki,把y重新分配到N2使得f(

14、)yki最大的子集中Jc2(fpyy)di3.如有任何点进行了类别的转移，2cfff(yyy

15、)(

16、)(pd)y,iji则重复上一步骤，直到不再有样本发生转移混合模型的估计11非监督最大似然估计假设条件1.样本分属个于c，但未知各样本的所属类别2.已知各类别先验概率(),Pωic1,,(有时也可未知，一起估计)i3.已知各类别概率密度形式(

17、pxω,),θic1,,ii4.需估计未知的c个参数向量,θθ,的值1c似然函数样本集合：{,,}xx1Nc最大似然估计混合密度函数：ppP(

18、)

19、xθ(

20、,)()xiiiNi1θˆargmaxp(x

21、θ)jNθΘj1似然函数：lp()θθ(

22、)p(

23、)xjθNj1argmaxlnp(xj

24、θ)NθΘj1对数数似然函：Hl()ln()θθln(

25、)pxjθj112非监督最大似然估计可识别性问题设θθ'，如果对混合分布中每个x都有p(x

26、θ)p(x

27、θ)'，则称密度p(x

28、θ)是可识别的大部分常见连续随机变量的分布密度函数都是可识别的，离散随机变量的混合概率函数往往是不可识别的计算问题Nc1θθHp()θ(

29、,)()xkjjθPjiip(

30、)xθkj

31、11kN求解微分方程组1θipP(xkii

32、,)()(,θθi设ijθ独立)()0,ˆ1,2,,k1p(

33、)xkθθHicθiNTPp(

34、,)lxθn(

35、,)xθ其中最大似然估计θθθˆˆ=,,ˆikiθikii1ck1pP(

36、,)()xθ其中后验概率P(

37、,)xθkiiiikip(

38、)xθk13非监督最大似然估计如先验概率未知，可引入限制条件Pic()0,i1,2,,cP()1ii1设别(),PPˆθθˆ分是(),的最大似然估计iiii如似然函数可微，且对则任意,()0iPˆˆ，()P和θˆ须满足

39、下列条件iiiNPPiˆˆ()1(

40、,),ˆ1,,cxθiikiNk1NPpˆ(

41、x,)θˆln(x

42、,)0θˆ,ic1,,ikiθikiik1pP(

43、,)()xθˆˆ其中Pˆ(

44、,)ˆ=kiiixθikicpP(

45、,)()xθˆˆj1kjjj多数实际问题采用迭代方法求解14正态分布情况下的非监督参数估计情况一均值向量μΣ未知，,(),Pc已知iiiN1P(ikiiki

46、x,μΣˆˆ)(xμ)0k1