《模式识别》(边肇祺)习题答案.pdf

《《模式识别》(边肇祺)习题答案.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别(第二版)习题解答目录1绪论22贝叶斯决策理论23概率密度函数的估计84线性判别函数105非线性判别函数166近邻法167经验风险最小化和有序风险最小化方法188特征的选取和提取189基于K-L展开式的特征提取2010非监督学习方法221模式识别(第二版)习题解答§1绪论略§2贝叶斯决策理论•2.1如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表示？解：设一个有C类，每一类的先验概率为P(wi)，i=1,...,C。此时最小错误率贝叶斯决策规则为：如果i∗=maxP(w)，则x∈w。iii•2.2利用概率论中的乘法定理和全概率公式证明贝叶斯

2、公式（教材中下面的公式有错误）p(x

3、wi)P(wi)P(wi

4、x)=.p(x)证明：P(wi,x)P(wi

5、x)=p(x)p(x

6、wi)P(wi)=p(x)•2.3证明：在两类情况下P(wi

7、x)+P(w2

8、x)=1。证明：P(w1,x)P(w2,x)P(w1

9、x)+P(w2

10、x)=+p(x)p(x)P(w1,x)+P(w2,x)=p(x)p(x)=p(x)=1•2.4分别写出在以下两种情况1.P(x

11、w1)=P(x

12、w2)2.P(w1)=P(w2)下的最小错误率贝叶斯决策规则。解：当P(x

13、w1)=P(x

14、w2)时，如果P(w1)>P(w2)，则x∈w1

15、，否则x∈w2。当P(w1)=P(w2)时，如果P(x

16、w1)>P(x

17、w2)，则x∈w1，否则x∈w2。•2.51.对c类情况推广最小错误率率贝叶斯决策规则；2.指出此时使错误率最小等价于后验概率最大，即P(wi

18、x)>P(wj

19、x)对一切j̸=i成立时，x∈wi。2模式识别(第二版)习题解答解：对于c类情况，最小错误率贝叶斯决策规则为：如果P(wi

20、x)=maxP(wj

21、x)，则x∈wi。利用贝叶斯定理可以将其写成先验概率和j=1;:::;c类条件概率相联系的形式，即如果p(x

22、wi)P(wi)=maxp(x

23、wj)P(wj)，则x∈wi。j=1;:::

24、;c•2.6对两类问题，证明最小风险贝叶斯决策规则可表示为，若p(x

25、w1)(λ12−λ22)P(w2)>,p(x

26、w2)(λ21−λ11)P(w1)则x∈w1，反之则属于w2。解：计算条件风险∑2R(α1

27、x)=λ1jP(wj

28、x)j=1=λ11P(w1

29、x)+λ12P(w2

30、x)∑2R(α2

31、x)=λ2jP(wj

32、x)j=1=λ21P(w1

33、x)+λ22P(w2

34、x)如果R(α1

35、x)

36、x)，则x∈w1。λ11P(w1

37、x)+λ12P(w2

38、x)<λ21P(w1

39、x)+λ22P(w2

40、x)(λ21−λ11)P(w1

41、x)>(λ12−λ22)P(

42、w2

43、x)(λ21−λ11)P(w1)p(x

44、w1)>(λ12−λ22)P(w2)p(x

45、w2)p(x

46、w1)(λ12−λ22)P(w2)>p(x

47、w2)(λ21−λ11)P(w1)p(x

48、w1)(λ12−λ22)P(w2)所以，如果>，则x∈w1。反之则x∈w2。p(x

49、w2)(λ21−λ11)P(w1)•2.7若λ11=λ22=0,λ12=λ21，证明此时最小最大决策面是来自两类的错误率相等。解：最小最大决策时满足∫∫(λ11−λ22)+(λ21−λ11)p(x

50、w1)dx−(λ12−λ22)p(x

51、w2)dx=0R2R1容易得到∫∫p(x

52、w2)dx=

53、p(x

54、w1)dxR1R2所以此时最小最大决策面使得P1(e)=P2(e)•2.8对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出决策区域是不变的。3模式识别(第二版)习题解答解：对于同一决策规则（如最小错误率贝叶斯决策规则），它的判别函数可以是j∗=∗maxP(wj

55、x)，则x∈wj。另外一种形式为j=maxp(x

56、wj)P(wj)，则x∈wj。j=1;:::;cj=1;:::;c考虑两类问题的分类决策面为：P(w1

57、x)=P(w2

58、x)，与p(x

59、w1)P(w1)=p(x

60、w2)P(w2)是相同的。•2.9写出两类和多类情况下

61、最小风险贝叶斯决策判别函数和决策面方程。p(x

62、w1)•2.10随机变量l(x)定义为l(x)=，l(x)又称为似然比，试证明p(x

63、w2){(1)E{ln(x)

64、w1}=E{ln+1(x)

65、w2}{(2)E{l(x)

66、w2}=1{(3)E{l(x)

67、w1}−E2{l(x)

68、w2}=var{l(x)

69、w2}（教材中题目有问题）∫∫n+1nn(p(x

70、w1))n+1证明：对于(1)，E{l(x)

71、w1}=l(x)p(x

72、w1)dx=ndx又E{l(x)

73、w2}=(p(x

74、w2))∫∫n+1n+1(p(x

75、w1))nn+1lp(x

76、w2)dx=ndx所以，E{l

77、(x)

78、w1}=E{l(x)

79、w2}(p(x

80、w2)