第2章 线性判别函数_第一讲

《第2章 线性判别函数_第一讲》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章线性判别函数主要内容：线性空间、线性判别函数矩阵分析简介感知器准则松弛算法最小平方误差算法2.1线性判别函数和判别界面线性不可分情况线性判别函数x=(x1,x2,…,xd)t:特征矢量；w=(w1,w2,…,wd)t:权矢量；w0：偏置(bias)。线性分类器的分类界面两类问题线性判别准则分类界面的几何解释线性分类界面H是d维空间中的一个超平面；分类界面将d维空间分成两部分，R1，R2分别属于两个类别；判别函数的权矢量w是一个垂直于分类界面H的矢量，其方向指向区域R1；偏置w0与原点到分类界面H的距离有关：线性判别函数的增广形

2、式y=(1,x1,x2,…,xd)t:增广的特征矢量；a=(w0,w1,w2,…,wd)t:增广的权矢量；多类问题（情况一）每一类模式可以用一个超平面与其它类别分开；这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面；第i类与其它类别之间的判别函数：多类问题（情况一）分类界面多类问题（情况一）判别规则若存在i，使得gi(x)>0，gj(x)<0，j≠i，则判别x属于ωi类；其它情况，拒识。多类问题（情况二）每两个类别之间可以用一个超平面分开；c个类别的问题需要c(c-1)/2个线性分类界面；第i类与第j类之

3、间的判别函数为：多类问题（情况二）分类界面多类问题（情况二）判别准则如果对任意j≠i，有gij(x)≥0，则决策x属于ωi。其它情况，则拒识。多类问题（情况三）情况三是情况二的特例，不存在拒识区域。广义线性判别函数2.2矩阵分析简介线性代数基础模式识别常用距离矩阵微分初步线性代数基础线性空间（向量空间）向量内积欧几里德范数线性无关行列式、迹矩阵的逆特征值、特征向量对称性：非负性：三角不等式：样本间的“距离”常用的距离函数欧氏距离：(EucideanDistance)是x与y之间的内积常用的距离函数街市距离：（Manhattan/ci

4、tyblock/taxicabdistance）常用的距离函数明氏距离：(MinkowskiDistance)街市距离欧氏距离仅当时，明氏距离具有旋转平移不变性角度相似函数：(AngleDistance)为矢量x的长度，也称为范数矩阵微分——相对于数量变量的微分对于n维函数向量对数量变量t的导数为：对于m×n阶函数矩阵对数量变量t的导数为：设及数量函数对数量变量t均可导，则：矩阵微分——相对于数量变量的微分例:求二次型对t的导数其中是n维函数向量是数字矩阵矩阵微分——相对于数量变量的微分矩阵微分——相对于向量变量的微分1，数量函数的

5、导数2，函数向量的导数设是以向量为自变量的数量函数，定义矩阵微分——相对于向量变量的微分1，数量函数的导数设是以向量为自变量的数量函数，定义矩阵微分——相对于向量变量的微分1，数量函数的导数设，有：矩阵微分——相对于向量变量的微分1，数量函数的导数例：求函数对的导数矩阵微分——相对于向量变量的微分1，数量函数的导数设且是向量的函数向量，定义：矩阵微分——相对于向量变量的微分2，函数向量的导数设则矩阵微分——相对于向量变量的微分2，函数向量的导数例：a）求行向量对的导数b）求列向量对的导数c）求二次型对的导数d）求数量函数对的导数矩阵

6、微分——相对于向量变量的微分2，函数向量的导数矩阵微分——复合函数微分1，数量函数的求导公式2，向量函数的求导公式矩阵微分——复合函数微分1，数量函数的求导公式矩阵微分——复合函数微分1，数量函数的求导公式矩阵微分——复合函数微分2，向量函数的求导公式矩阵微分——复合函数微分2，向量函数的求导公式