全概率公式和贝叶斯公式教学琐谈

《全概率公式和贝叶斯公式教学琐谈》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、贝叶斯算法(bayesian)介绍00748009李怡文1、贝叶斯算法概况简介2、贝叶斯过滤算法的主要步骤3、贝叶斯过滤算法举例4、贝叶斯算法的应用5、总结贝叶斯算法概况简介贝叶斯是基于概率的一种算法，是ThomasBayes：一位伟大的数学大师所创建的。ThomasBayes(1702-1763),托马斯·贝叶斯是一位英国牧师数学家，1742年成为英国皇家学会会员1763年4月7日逝世，1763年，他发表了贝叶斯统计理论，即根据已经发生的事件来预测事件发生的可能性，贝叶斯理论假设：如果事件的结果不确定，那么

2、量化它的唯一方法就是事件的发生概率。如果过去试验中事件的出现率已知，那么根据数学方法可以计算出未来试验中事件出现的概率。贝叶斯算法概况简介目前此种算法用于过滤垃圾邮件得到了广泛地好评。贝叶斯过滤器是基于“自我学习”的智能技术，能够使自己适应垃圾邮件制造者的新把戏，同时为合法电子邮件提供保护。在智能邮件过滤技术中，贝叶斯（Bayesian）过滤技术取得了较大的成功，被越来越多地应用在反垃圾邮件的产品中。贝叶斯过滤算法的主要步骤算法的基本思想：根据已有的垃圾邮件和非垃圾邮件建立贝叶斯概率库，利用贝叶斯概率库分析预测新邮件

3、为垃圾邮件的概率优点：1、纯粹根据统计学规律运作2、可计算性强贝叶斯过滤算法的主要步骤1.收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集。2.提取邮件主题和邮件体中的独立字符串，例如ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件。贝叶斯过滤算法的主要步骤3.每一个邮件集对应一个哈希表，hashtable_good对应非垃圾邮件集而hashtable_bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关

4、系。贝叶斯过滤算法的主要步骤4.计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）贝叶斯过滤算法的主要步骤5.综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为：A事件----邮件为垃圾邮件；t1,t2…….tn代表TOKEN串则P（A

5、ti）表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率。设P1（ti）=（ti在hashtable_good中的值）P2（ti）=（t

6、i在hashtable_bad中的值）则P（A

7、ti）=P2（ti）/[（P1（ti）+P2（ti）]；贝叶斯过滤算法的主要步骤6.建立新的哈希表hashtable_probability存储TOKEN串ti到P（A

8、ti）的映射7.至此，垃圾邮件集和非垃圾邮件集的学习过程结束。根据建立的哈希表hashtable_probability可以估计一封新到的邮件为垃圾邮件的可能性。贝叶斯过滤算法的主要步骤当新到一封邮件时，按照步骤2，生成TOKEN串。查询hashtable_probability得到该TOKEN串的键值

9、。假设由该邮件共得到N个TOKEN串，t1,t2…….tn,hashtable_probability中对应的值为P1，P2，……PN，P(A

10、t1,t2,t3……tn)表示在邮件中同时出现多个TOKEN串t1,t2……tn时，该邮件为垃圾邮件的概率。由复合概率公式可得P(A

11、t1,t2,t3……tn)=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）]贝叶斯过滤算法的主要步骤当P(A

12、t1,t2,t3……tn)超过预定阈值时，就可以判断邮件为垃圾邮件。预定阈值可以根据

13、对垃圾邮件的限制级别设计。贝叶斯过滤算法举例例：你的邮箱里现有两份邮件：一封是含有“法轮功”字样的垃圾邮件A另一封是含有“法律”字样的非垃圾邮件B。贝叶斯过滤算法举例下面根据这两份已有邮件来建立贝叶斯概率库根据邮件A生成hashtable_bad，该哈希表中的记录为法：1次轮：1次功：1次贝叶斯过滤算法举例计算得在本表中：“法”出现的概率为0.3“轮”出现的概率为0.3“功”出现的概率为0.3贝叶斯过滤算法举例根据邮件B生成hashtable_good，该哈希表中的记录为：法：1次律：1次

14、计算得在本表中：“法”出现的概率为0.5“律”出现的概率为0.5贝叶斯过滤算法举例综合考虑两个哈希表，共有四个TOKEN串：法、轮、功、律当邮件中出现“法”时，该邮件为垃圾邮件的概率为：P=0.3/（0.3+0.5）=0.375出现“轮”时，该邮件为垃圾邮件的概率为：P=0.3/（0.3+