资源描述：
《贝叶斯、概率分布与机器学习》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、贝叶斯、概率分布与机器学习作者：LeftNotEasy发表于2010-09-2722：48原文链接阅读：1366评论：11本文由LeftNotEasy原创，可以转载，但请保留出处和此行，如果有商业用途，请联系作者wheeleast@gmail.com一.简单的说贝叶斯定理：贝叶斯定理用数学的方法来解释生活中大家都知道的常识形式最简单的定理往往是最好的定理，比如说中心极限定理，这样的定理往往会成为某一个领域的理论基础。机器学习的各种算法中使用的方法，最常见的就是贝叶斯定理。贝叶斯定理的发现过程我没有找到相应的资料，不过我相信托马斯.贝叶斯(1702-1761)是通过生活中的一些小问题去发现
2、这个对后世影响深远的定理的，而且我相信贝叶斯发现这个定理的时候，还不知道它居然有这么大的威力呢。下面我用一个小例子来推出贝叶斯定理：已知：有N个苹果，和M个梨子，苹果为黄色的概率为20%，梨子为黄色的概率为80%，问，假如我在这堆水果中观察到了一个黄色的水果，问这个水果是梨子的概率是多少。用数学的语言来表达，就是已知P(apple)=N/(N+M),P(pear)=M/(N+M),P(yellow
3、apple)=20%,P(yellow
4、pear)=80%,求P(pear
5、yellow).要想得到这个答案，我们需要1.要求出全部水果中为黄色的水果数目。2.求出黄色的梨子数目对于1)我们可
6、以得到P(yellow)*(N+M),P(yellow)=p(apple)*P(yellow
7、apple)+P(pear)*p(yellow
8、pear)对于2)我们可以得到P(yellow
9、pear)*M2)/1)可得：P(pear
10、yellow)=P(yellow
11、pear)*p(pear)/[P(apple)*P(yellow
12、apple)+P(pear)*P(yellow
13、pear)]化简可得：P(pear
14、yellow)=P(yellow,pear)/P(yellow),用简单的话来表示就是在已知是黄色的，能推出是梨子的概率P(pear
15、yellow)是黄色的梨子占全部水果的概率
16、P(yellow,pear)除上水果颜色是黄色的概率P(yellow).这个公式很简单吧。我们将梨子代换为A，黄色代换为B公式可以写成：P(A
17、B)=P(A,B)/P(B),可得：P(A,B)=P(A
18、B)*P(B).贝叶斯公式就这样推出来了。本文的一个大概的思路：先讲一讲我概括出的一个基本的贝叶斯学习框架，然后再举几个简单的例子说明这些框架，最后再举出一个复杂一点的例子，也都是以贝叶斯机器学习框架中的模块来讲解二.贝叶斯机器学习框架对于贝叶斯学习，我每本书都有每本书的观点和讲解的方式方法，有些讲得很生动，有些讲得很突兀，对于贝叶斯学习里面到底由几个模块组成的，我一直没有看到很官方的说法
19、，我觉得要理解贝叶斯学习，下面几个模块是必须的：1)贝叶斯公式机器学习问题中有一大类是分类问题，就是在给定观测数据D的情况下，求出其属于类别(也可以称为是假设h，h∈{h0,h1,h2…})的概率是多少,也就是求出：P(h
20、D),可得：P(h,D)=P(h
21、D)*P(D)=P(D
22、h)*P(h),所以：P(h
23、D)=P(D
24、h)*P(h)/P(D),对于一个数据集下面的所有数据，P(D)，恒定不变。所以可以认为P(D)为常数，得到：P(h
25、D)∝P(D
26、h)*P(h)。我们往往不用知道P(h
27、D)的具体的值，而是知道例如P(h1
28、D)，P(h2
29、D)值的大小关系就是了。这个公式就是机器学
30、习中的贝叶斯公式，一般来说我们称P(h
31、D)为模型的后验概率，就是从数据来得到假设的概率，P(h)称为先验概率，就是假设空间里面的概率，P(D
32、h)是模型的likelihood概率。Likelihood(似然)这个概率比较容易让人迷惑，可以认为是已知假设的情况下，求出从假设推出数据的概率，在实际的机器学习过程中，往往加入了很多的假设，比如一个英文翻译法文的问题：给出一个英文句子，问哪一个法文句子是最靠谱的，P(f=法文句子
33、e=英文句子)=P(e
34、f)*p(f),p(e
35、f)就是likelihood函数，P(e
36、f)写成下面的更清晰一点：p(e
37、f∈{f1,f2…})可以认为，从输入的英
38、文句子e，推出了很多种不同的法文句子f，p(e
39、f)就是从这些法文句子中的某一个推出原句子e的概率。本文之后的内容也将对文章中没有提到的一些内容，也是贝叶斯学习中容易疑惑、忽略、但是很重要的问题进行一些解释。2)先验分布估计，likelihood函数选择贝叶斯方法中，等号右边有两个部分，先验概率与likelihood函数。先验概率是得到，在假设空间中，某一个假设出现的概率是多少，比如说在街上看到一个动物是长有毛的，问1.这个动物是哈
