信息检索中迁移markov网络模型的研究

《信息检索中迁移markov网络模型的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、江西师范大学硕士学位论文信息检索中迁移Markov网络模型的研究姓名：余美华申请学位级别：硕士专业：计算机应用技术指导教师：王明文20090501摘要Web信息的快速增长，给信息检索系统带来了巨大挑战。传统的检索模型需要在一个相对固定的数据集上通过训练得到，不具备开放的学习功能，而Web上的信息是实时更新的，检索模型由于无法对新的数据进行学习，检索性能必将随着Web信息的更新而逐渐下降，现有的解决办法之一是将新数据加入到原有的数据集中对模型重新进行训练，由于模型对原有数据集学习所获得的知识并没有被保留，这势必浪费大量的时间进行重复学习；另一种方法则是在新数据集上对模型进行

2、训练，若新的数据集数据量不够则会影响模型的学习效果。因而，如何使得检索模型能较好学习新的数据并实现在目标数据集上的准确检索乜^，邑111，成为了信息检索模型研究的热点之一。本文中我们将检索模型在发生变化的数据上的训练可以看作是一个学习迁移的过程陋’1引，检索模型在原有数据集上的训练势必对其在新数据上的学习有所影响，即在原有数据集上建立模型中所获得的知识对该模型在新数据上的训练有所帮助，从而减少由于数据发生改变而导致模型需要重新进行学习所耗费的时间。因此，为解决上述问题，我们结合迁移学习理论⋯和Markov网络理论呻1，提出了一种新的方法，思想是迁移Markov网络用于实现

3、检索模型的学习，通过获取先验知识，实现在目标数据集上高效检索目的。具体的思路是：首先建立一个数据集上的初始检索模型，其次，衡量用于建模的先验数据集和目标数据集中数据分布的差异性，在本文中我们使用Kullback—Leiblerdivergence口，71(KL偏离度)的测量公式来度量这一分布的不同。且所得的KL偏离值也可用于确定检索公式中的平衡参数(也就是确定迁移先验数据中知识的“量”)，然后，通过迁移旧数据集上的先验知识到目标数据集上，我们对基于Markov网络的检索模型进行修正，并在目标数据集上进行检索。这样就可以将以将以往被摒弃的先验数据通过有效的迁移学习利用到目标

4、数据集的学习中，使检索模型能够快速学习并实现目标文档的高效检索。多组实验结果验证了我们的新方法在性能上要优于BM25算法∞，2“2引，T一检验n6’删的结果也显示模型的性能提高水平是显著的。本文的工作和创新点在于：1．首次将迁移学习理论用于信息检索领域，将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型聆·氐峨删中，从构造的Markov网络中成功地学习先验数据。2．本文通过迁移先验数据集的知识，并利用部分新数据集，来修正所提出的检索模型，并最终实现基于Markov网络的检索模型能在新的数据集上的高效检索。这样可以大大减少重新建立一个适用于新数

5、据集的检索模型所耗费的时间。3．通过实验验证并分析了进行迁移学习后的基于Markov网络的信息检索模型的性能，并将常用的BM25算法与经过迁移学习的Markov网络信息检索模型的性能进行比较。实验表明本文提出迁移基于Markov网络模型的方法表现比较优异，在很大程度上提高了检索效率。关键词：信息检索；迁移学习；Markov网络；Kullback．1eibler偏离度；UABSTRACTAlongwiththedevelopmentofintemet，alotofnewdataappearsinthewebeveryday．Itbringsagreatchallengeto

6、retrievalsystem．Informationisinchangingandourretrievalmodelisgottenbytrainingonamountofdatasetandneedmuchtimetorebuild．Toconstructaretrievalmodeltoadaptthenewdataquicklyandtoretrievalthenewdocumentsaccuratelyisbecominganimportantresearchtopic．Traditionalretrievalmodelisimpossibleinlearnin

7、gnewdata，retrievaleffectbecome10we／"whenthedocumentsincrease．Andretrievalmodelneedcostalotoftimetomodifyforadaptingnewdataset．Becauseinformationisintheexponentialgrowth，andthetrainingofretrievalmodelisdescribedasaprocessoftransferlearningprocess．Andthetrainingofoldd