数学之美番外篇

《数学之美番外篇》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数学之美番外篇：平凡而又神奇的贝叶斯方法By刘未鹏–September21,2008Postedin:数学,机器学习与人工智能,计算机科学概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想，一个方法能够专门写出一本书来，肯定很牛逼。后来，我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。——题记目录0.前言1.历史1.1一个例子：自然语言的二义性1.2贝叶斯公式2.拼写纠正3.模

2、型比较与贝叶斯奥卡姆剃刀3.1再访拼写纠正3.2模型比较理论（ModelComparasion）与贝叶斯奥卡姆剃刀（BayesianOccam’sRazor）3.3最小描述长度原则3.4最优贝叶斯推理4.无处不在的贝叶斯4.1中文分词4.2统计机器翻译4.3贝叶斯图像识别，AnalysisbySynthesis4.4EM算法与基于模型的聚类4.5最大似然与最小二乘5.朴素贝叶斯方法（又名“愚蠢者的贝叶斯（idiot’sbayes）”）5.1垃圾邮件过滤器5.2为什么朴素贝叶斯方法令人诧异地好——一个理论解释6.层级贝叶斯模型6.1隐马可夫模型（HM

3、M）7.贝叶斯网络0.前言这是一篇关于贝叶斯方法的科普文，我会尽量少用公式，多用平白的语言叙述，多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常general且强大的推理框架，文中你会看到很多有趣的应用。1.历史托马斯·贝叶斯（ThomasBayes）同学的详细生平在这里。以下摘一段wikipedia上的简介：所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸

4、手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆概问题。实际上，贝叶斯当时的论文只是对这个问题的一个直接的求解尝试，并不清楚他当时是不是已经意识到这里面包含着的深刻的思想。然而后来，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，特别地，贝叶斯是机器学习的核心方法之一。这背后的深刻原

5、因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的（否则有很大一部分科学就没有必要做了——设想我们能够直接观察到电子的运行，还需要对原子模型争吵不休吗？），我们日常所观察到的只是事物表面上的结果，沿用刚才那个袋子里面取球的比方，我们往往只能知道从里面取出来的球是什么颜色，而并不能直接看到袋子里面实际的情况。这个时候，我们就需要提供一个猜测（hypothesis，更为严格的说法是“假设”，这里用“猜测”更通俗易懂一点），所谓猜测，当然就是不确定的（很可能有好多种乃至无数种猜测都能满足目前的观测），但也绝对不是两眼一抹黑瞎蒙——具体地说，我们

6、需要做两件事情：1.算出各种不同猜测的可能性大小。2.算出最靠谱的猜测是什么。第一个就是计算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。第二个则是所谓的模型比较，模型比较如果不考虑先验概率的话就是最大似然方法。1.1一个例子：自然语言的二义性下面举一个自然语言的不确定性的例子。当你看到这句话：Thegirlsawtheboywithatelescope.你对这句话的含义有什么猜测？平常人肯定会说：那个女孩拿望远镜看见了那个男孩（即你对这个句子背后的实际语法结构的猜测是：Thegirlsaw-with-a-telescopeth

7、eboy）。然而，仔细一想，你会发现这个句子完全可以解释成：那个女孩看见了那个拿着望远镜的男孩（即：Thegirlsawthe-boy-with-a-telescope）。那为什么平常生活中我们每个人都能够迅速地对这种二义性进行消解呢？这背后到底隐藏着什么样的思维法则？我们留到后面解释。1.2贝叶斯公式贝叶斯公式是怎么来的？我们还是使用wikipedia上的一个例子：一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。有了这些信息之后我们可以容易地计算“随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大”，

8、这个就是前面说的“正向概率”的计算。然而，假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（