模式识别第2,3章 聚类分析

《模式识别第2,3章 聚类分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别课件第二章聚类分析2.1聚类分析的相关概念定义对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。模式相似/分类的依据把整个模式样本集的特征向量看成是分布在特征空间中的一些点，点与点之间的距离即可作为模式相似性的测量依据。聚类分析是按不同对象之间的差异，根据距离函数的规律（大小）进行模式分类的。聚类分析的有效性聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类；若样本集的向量分布

2、聚成一团，不同群的样本混在一起，则很难分类；对具体对象做聚类分析的关键是选取合适的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。两类模式分类的实例：一摊黑白围棋子选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类；选大小作为特征进行分类，则白子和黑子的特征相同，不能分类（把白子和黑子分开）。特征选择的维数在特征选择中往往会选择一些多余的特征，它增加了维数，从而增加了聚类分析的复杂度，但对模式分类却没有提供多少有用的信息。在这种情况下，需要去掉相关程度过高的特征（进行降维处理）。降维方法设有N个样本，它们的特征维数是n，则有n*

3、n维的相关矩阵R=[rij]nxn其中，rij是第i维与第j维特征之间的相关系数：这里：σii和σjj分别是第i个和第j个分量的标准差，λij是第i个和第j个分量的协方差。分析：（1）根据相关系数的性质：（利用柯西不等式证明）（2）rij=0：表示两个分量完全不相关（3）rij=1：表示两个分量完全相关结论：若rij->1，则表明第i维特征与第j维特征所反映的特征规律接近，因此可以略去其中的一个特征，或将它们合并为一个特征，从而使维数降低一维。模式对象特征测量的数字化计算机只能处理离散的数值，因此根据识别对象的不同，要进行不同的数据化处理。连续量的量化：用连续量来

4、度量的特性，如长度、重量、面积等等，仅需取其量化值；量级的数量化：度量时不需要详尽的数值，而是相应地划分成一些有次序的量化等级的值。l病人的病程0~代表病程<=1个月1~代表1个月<病程<=6个月2~代表6个月<病程<=12个月3~代表病程>12个月名义尺度：指定性的指标，即特征度量时没有数量关系，也没有明显的次序关系，如黑色和白色的关系，男性和女性的关系等，都可将它们分别用“0”和“1”来表示。超过2个状态时，可用多个数值表示。2.2模式相似性的测度和聚类准则2.2.1相似性测度目的：为了能将模式集划分成不同的类别，必须定义一种相似性的测度，来度量同一类样本间的

5、类似性和不属于同一类样本间的差异性。24模式识别课件欧氏距离设x和z为两个模式样本，其欧氏距离定义为：D=

6、

7、x-z

8、

9、例：x=(x1,x2)，z=(z1,z2)，则显然，模式x和z之间的距离越小，它们越相似。欧氏距离的概念和习惯上距离的概念是一致的。马氏距离设x是模式向量，m是均值向量，C为模式总体的协方差矩阵，则马氏距离的表达式：特点：排除了模式样本之间的相关性问题：协方差矩阵在实际应用中难以计算。一般化的明氏距离模式样本向量xi和xj之间的明氏距离表示为：其中xik和xjk分别表示xi和xj的第k各分量。显然，当m=2时，明氏距离即为欧氏距离。特例：当m=1

10、时，，亦称为街坊距离。角度相似性函数表达式：，它表示模式向量x和z之间夹角的余弦，也称为x的单位向量与z的单位向量之间的点积。特点：反映了几何上相似形的特征，对于坐标系的旋转、放大和缩小等变化是不变的。当特征的取值仅为(0,1)两个值时的特例特例：当特征的取值仅为(0,1)两个值时，夹角余弦度量具有特别的含义，即当模式的第i个分量为1时，认为该模式具有第i个特征；当模式的第i个分量为0时，认为该模式无此特征。这时，xTz的值就等于x和z这两个向量共同具有的特征数目。同时，={x中具有的特征数目和z中具有的特征数目的几何平均}因此，在特征取值为0和1的二值情况下，S

11、(x,z)等于x和z中具有的共同特征数目的相似性测度。2.2.2聚类准则有了模式的相似性测度，还需要一种基于数值的聚类准则，能将相似的模式样本分在同一类，相异的模式样本分在不同的类。试探方法凭直观感觉或经验，针对实际问题定义一种相似性测度的阈值，然后按最近邻规则指定某些模式样本属于某一个聚类类别。例如对欧氏距离，它反映了样本间的近邻性，但将一个样本分到不同类别中的哪一个时，还必须规定一个距离测度的阈值作为聚类的判别准则。聚类准则函数法依据：由于聚类是将样本进行分类以使类别间可分离性为最大，因此聚类准则应是反映类别间相似性或分离性的函数；由于类别是由一个个样本组成的

12、，因此一般