资源描述:
《马尔科夫逻辑网(译文)》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、马尔科夫逻辑网(译文)马修理查德森(mattr@cs.washington.edu)和佩德罗多明戈斯(pedrod@cs.washington.edu)美国西雅图华盛顿大学计算机科学工程系WA98195-250 摘要:我们提出一个简单的方法将一阶逻辑和概率图解模型组合成一种表示形式。马尔科夫逻辑网就是一个每个准则或语句都有权重的一阶逻辑知识库,其中常数代表库中对象,还约定了一个基本马尔科夫网知识库中一个一阶逻辑准则的每个可能的基元都带有相应的权重。马尔科夫逻辑网推理是通过在回答问题所需的最小基元子集上运用马尔科夫链蒙特卡罗方法实现的。权重是从关系数
2、据库通过拟似然度量的优化迭代高效学习获得,可选择地,额外的子句可运用归纳逻辑程序技术学得。使用一所大学内的一个真实世界数据库和知识库的实验表明这种方法大有前途。关键词:统计关联学习,马尔科夫网,马尔科夫随机场,对数线性模型,图模型,一阶逻辑,可满足性,归纳逻辑程序设计,基于知识的模式构建,马尔科夫链蒙特卡罗方法,拟似然,连接预测介绍 将概率和一阶逻辑一起表达一直是人工智能界的目标。概率图模型使我们能有效地应对不确定性,一阶逻辑让我们能简洁地表达广博的知识,而往往许多应用中两者都需要。近年来,这个问题由于和统计关系学习(Getoor&Jensen
3、,2000;Getoor&Jensen,2003;Dietterich等,2003),或者多关系数据挖掘(Dzeroski&DeRaedt,2003;Dzeroski等,2002;Dzeroski等,2003;Dzeroski&Blockeel,2004)的相关性引起了广泛兴趣。当前的提议一般都集中在将概率和一阶逻辑的有限子集组合在一起,如霍恩子句(e.g.,Wellman等(1992);Poole(1993);Muggleton(1996);NgoandHaddawy(1997);SatoandKameya(1997);Cussens(1999)
4、;KerstingandDeRaedt(2001);SantosCosta等(2003)),基于框架的系统(e.g.,Friedman等(1999);PasulaandRussell(2001);CumbyandRoth(2003)),或者数据查询语言(e.g.,Taskar等(2002);PopesculandUngar(2003)),它们都很复杂。在本论文中,我们介绍了马尔科夫逻辑网,这是一个除了有穷集要求外没有其它限制的能将概率和一阶逻辑结合的非常简单的表示办法。我们为马尔科夫逻辑网的学习和推理开发了高效的算法,并在某个现实世界场景中进行了评
5、估。 一个马尔科夫逻辑网就是一个每个准则都有权重的一阶逻辑知识库,可看成是构建马尔科夫逻辑网络的模板。从概率的视角看,马尔科夫逻辑网提供一种简洁的语言来定义大型马尔科夫网,能灵活地、模块化地与大量知识合并;从一阶逻辑的视角看,马尔科夫逻辑网能健全地处理不确定性、容许有瑕疵甚至矛盾的知识库,降低脆弱性。有许多统计关系学习领域的重要任务,如集合分类、链接预测、链接聚合、社会网络建模和对象识别,都自然而然地成为运用马尔科夫逻辑网推理和学习的实例。 现实世界数据库和知识库的试验显现了马尔卡夫逻辑网相对于纯逻辑方法或纯概率方法的优势。本论文的开头简要
6、介绍马尔科夫网(第二章)和一阶逻辑(第三章)的基础,核心部分介绍了马尔科夫逻辑网及其推理和学习的算法(第四-六章),接下来是试验结果的报告(第七章),最后,我们介绍了怎样利用马尔科夫逻辑网来完成各种统计关联学习任务(第八章),还讨论了马尔科夫逻辑网与以前一些方法的关系(第九章),最后列出了一些下一步工作的方向(第十章)。马尔科夫网络 马尔科夫网(也叫马尔科夫随机场)是随机变量集x=x1,x2,…,xn的联合分布模型(Pearl,1988),它由一个无向图G和一个势函数Фk集合组成,每个随机变量是图上的节点,图的每个团在模型中都有一个势函数,势函
7、数是一个非负实函数,它代表了相应的团的状态。马尔科夫网的联合分布如下(1)其中x{k}是团中随机变量的状态,Z也叫配分函数(态和),定义为。将马尔科夫网络中每个团的势用状态的所有特征值加权后求和再取幂,就可方便地表示成对数线性模式 (2)特征函数可以是表示状态的任何实函数,本论文将只讨论二元特征值。公式一是势最直接的表示,其中每个团每个可能的状态都有一个对应的特征值fj(x),它的权重是wj,这种表示方法与团数量的幂相关。可是,我们可以自由地运用一些方法比如状态的逻辑函数等减少特征值数量,特别在团数量很大时能相比势函数方式提供一种更简洁的表示形式。
8、马尔可夫逻辑网络就是利用了这一方式。 马尔可夫网的推理是NP完备问题(Roth,1996)。最被广泛使用的近似推理方法