资源描述：
《朴素贝叶斯文本分类器.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、基于朴素贝叶斯分类器文本分类物电.12计研基于朴素贝叶斯分类器文本分类1.贝叶斯定理在分类中的应用2.朴素贝叶斯分类器3.朴素贝叶斯文本分类算法3.1.多项式模型3.2伯努力模型1.贝叶斯定理在分类中的应用分类(classification):常常需要把一个事物分到某个类别。一个事物具有很多属性，把它的众多属性看做一个向量，即X=(x1,x2,x3,…,xn)，用x这个向量来代表这个事物。类别也是有很多种，用集合Y={y1,y2,…ym}表示。如果x属于y1类别，就可以给x打上y1标签，意思是说x属于y1类别。这就是所谓的分类(Classification)。1.贝
2、叶斯定理在分类中的应用x的集合记为X，称为属性集。一般X和Y的关系是不确定的，你只能在某种程度上说x有多大可能性属于类y1，比如说x有80%的可能性属于类y1，这时可以把X和Y看做是随机变量，P(Y
3、X)称为Y的后验概率（posteriorprobability），与之相对的，P(Y)称为Y的先验概率（priorprobability）。1.贝叶斯定理在分类中的应用在训练阶段，我们要根据从训练数据中收集的信息，对X和Y的每一种组合学习后验概率P(Y
4、X)。分类时，来了一个实例x，在刚才训练得到的一堆后验概率中找出所有的P(Y
5、x)，其中最大的那个y，即为x所属分类。
6、1.贝叶斯定理在分类中的应用在训练阶段，我们要根据从训练数据中收集的信息，对X和Y的每一种组合学习后验概率P(Y
7、X)。分类时，来了一个实例x，在刚才训练得到的一堆后验概率中找出所有的P(Y
8、X=x)，其中最大的那个y，即为x所属分类。根据贝叶斯公式，后验概率为:实际中只考虑最值问题即可1.贝叶斯定理在分类中的应用考虑一个医疗诊断问题，有两种可能的假设：（1）病人有癌症。（2）病人无癌症。样本数据来自某化验测试，它也有两种可能的结果：阳性和阴性。假设我们已经有先验知识：在所有人口中只有0.008的人患病。此外，化验测试对有病的患者有98%的可能返回阳性结果，对无病患
9、者有97%的可能返回阴性结果。1.贝叶斯定理在分类中的应用上面的数据可以用以下概率式子表示：P(cancer)=0.008,P(无cancer)=0.992P(阳性
10、cancer)=0.98,P(阴性
11、cancer)=0.02P(阳性
12、无cancer)=0.03，P(阴性
13、无cancer)=0.97假设现在有一个新病人，化验测试返回阳性，是否将病人断定为有癌症呢？在这里，Y={cancer，无cancer}，共两个类别，这个新病人是一个样本，他有一个属性阳性，可以令x=(阳性)。1.贝叶斯定理在分类中的应用我们可以来计算各个类别的后验概率：P(cancer
14、阳性)=
15、P(阳性
16、cancer)p(cancer)=0.98*0.008=0.0078P(无cancer
17、阳性)=P(阳性
18、无cancer)*p(无cancer)=0.03*0.992=0.0298因此，应该判断为无癌症。归一处理：P(癌症)=0.0078/（0.0078+0.0298）=0.207P（无癌症）=0.7932.朴素贝叶斯分类器条件独立性：朴素贝叶斯分类器基于一个简单的假设：在给定目标属性之间是相互独立的。举例：｛Machine,learning}:最可能的目标值2.朴素贝叶斯分类器P(xi
19、Y=y)怎么计算呢？它一般根据类别y下包含属性xi的实例的比例来估计
20、。以文本分类为例，xi表示一个单词，P(xi
21、Y=y)=包含该类别下包含单词的xi的文章总数/该类别下的文章总数。2.朴素贝叶斯分类器当训练样本不能覆盖那么多的属性值时，都会出现上述的窘境。简单的使用样本比例来估计类条件概率的方法太脆弱了，尤其是当训练样本少而属性数目又很大时。解决方法是使用m估计(m-estimate)方法来估计条件概率：2.朴素贝叶斯分类器n是类yj中的样本总数，nc是类yj中取值xi的样本数，m是称为等价样本大小的参数，而p是用户指定的参数。如果没有训练集（即n=0），则P(xi
22、yj)=pm=
23、V
24、时，就是多项式模型m=2时，就是伯努利模型3
25、.朴素贝叶斯文本分类算法文本分类问题在文本分类中，假设我们有一个文档d∈X，X是文档向量空间(documentspace)，和一个固定的类集合C={c1,c2,…,cj}，类别又称为标签。显然，文档向量空间是一个高维度空间。我们把一堆打了标签的文档集合作为训练样本，∈X×C。例如：={BeijingjoinstheWorldTradeOrganization,China}对于这个只有一句话的文档，我们把它归类到China，即打上china标签。我们期望用某种训练算法，训练出一个函数γ，能够将文档映射到某一个类别：γ:X→C目的：3.
