资源描述：
《贝叶斯分类器经典讲解》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、贝叶斯算法贝叶斯算法贝叶斯，英国数学家。1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。一个医疗诊断问题有两个可选的假设：病人有癌症、病人无癌症可用数据来自化验结果：正+和负-有先验知识：在所有人口中，患病率是0.008对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97%总结如下P(cancer)=0.008,P(cancer)=0.992P(+
2、ca
3、ncer)=0.98,P(-
4、cancer)=0.02P(+
5、cancer)=0.03,P(-
6、cancer)=0.97问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer
7、+)和P(cancer
8、+)贝叶斯定理解决上面的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A
9、B)的情况下如何求得P(B
10、A)。癌症诊断正确诊断正确癌症贝叶斯定理这里先解释什么是条件概率在事情B发生的条件下A发生的条件概率，其求解公式为贝叶斯定理贝叶斯定理的意义在于，我们在生活中经常遇到这种情况：我们可以很容易直接得出
11、P(A
12、B)，P(B
13、A)则很难直接得出，但我们更关心P(B
14、A)，贝叶斯定理就为我们打通从P(A
15、B)获得P(B
16、A)的道路。贝叶斯定理下面不加证明给出贝叶斯定理公式机器语言中的定义表示在没有训练数据前假设A拥有的初始概率。P(A)被称为A的先验概率.P(A
17、B)表示假设B成立时A的概率机器学习中我们关心的是P(B
18、A)，即给定A时B的成立的概率，称为B的后验概率，贝叶斯定理的解释P(B
19、A)随着P(B)和P(A
20、B)的增长而增长，随着P(A)的增长而减少，即如果A独立于B时被观察到的可能性越大，那么B对A的支持度越小.评分标准H：假设候选集表示使P（B
21、
22、A)最大的B值P(A)??_P（A
23、B)=朴素贝叶斯分类器1、条件独立性给定类标号y，朴素贝叶斯分类器在估计类条件概率时假设属性之间条件独立。条件独立假设可以形式化的表达如下：其中每个训练样本可用一个属性向量X=(x1,x2,x3,„,xn)表示，各个属性之间条件独立。朴素贝叶斯分类器比如，对于一篇文章“Goodgoodstudy,Daydayup.”用一个文本特征向量来表示：x=(Good,good,study,Day,day,up)。一般各个词语之间肯定不是相互独立的，有一定的上下文联系。但在朴素贝叶斯文本分类时，我们假设个单词之间没有联系，可以用一个文
24、本特征向量来表示这篇文章，这就是“朴素”的来历。朴素贝叶斯如何工作有了条件独立假设，就不必计算X和Y的每一种组合的类条件概率，只需对给定的Y，计算每个Xi的条件概率。后一种方法更实用，因为它不需要很大的训练集就能获得较好的概率估计。估计分类属性的条件概率P(Xi
25、Y=y)怎么计算呢？它一般根据类别y下包含属性Xi的实例的比例来估计。以文本分类为例，Xi表示一个单词，P(Xi
26、Y=y)=包含该类别下包含单词的xi的文章总数/该类别下的文章总数。贝叶斯分类器举例假设给定了如下训练样本数据，我们学习的目标是根据给定的天气状况判断你对PlayTennis这个请求的回
27、答是Yes还是No。DayOutlookTemperatureHumidityWindPlayTennisD1SunnyHotHighWeakNoD2SunnyHotHighStrongNoD3OvercastHotHighWeakYesD4RainMildHighWeakYesD5RainCoolNormalWeakYesD6RainCoolNormalStrongNoD7OvercastCoolNormalStrongYesD8SunnyMildHighWeakNoD9SunnyCoolNormalWeakYesD10RainMildNormalWeak
28、YesD11SunnyMildNormalStrongYesD12OvercastMildHighStrongYesD13OvercastHotNormalWeakYesD14RainMildHighStrongNo贝叶斯分类器打网球我们需要利用训练数据计算后验概率P(Yes
29、x)和P(No
30、x)，如果P(Yes
31、x)>P(No
32、x)，那么新实例分类为Yes，否则为No。贝叶斯分类器举例我们将使用此表的数据，并结合朴素贝叶斯分类器来分类下面的新实例：贝叶斯分类器举例DayOutlookTemperatureHumidityWindPlayTennisD1Su
33、nnyHotHighWeakNoD2SunnyHot
