基于多agent系统的主题爬虫理解与协作研究

《基于多agent系统的主题爬虫理解与协作研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ClassifiedIndex：UDC：XihuaUniversityMasterDegreeDissertation】7g7371ResearchonTheUnderstandingandcooperationoftheTopicCrawlersBasedonMulti——AgentSystemCandidate：Major：StudentID：^●6UperVlS0r：WangYingyuComputerSoftwareandTheory212007081202018ProfessorDuYajunXihuaUniversityChengdu，Sichuan，P．R．Chin

2、aMay，2010西华大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。嚣篇专梦参誓翥篡群日期：1卢fo、6、6日期1．．，厂．／，西华大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校攻读学位期间论文工作的知识产权属于西华大学，同意学校保留并

3、向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。(保密的论文在解密后遵守此规定)学位论文作者签名：砂参凡乏指导教师签名：日期：沙⋯、占嗍。、(。．西华大学硕十学位论文摘要多Agent系统是一种运用Agent的自主、灵活、交互等特性来实现某个系统目标或求解某个大规模问题的技术。在多Agent系统中，通信是实现Agent之间协作和协商的基础。然而由于各个Agent所拥有的知识、背景和所处平台的不同，消息内容中所涉及的概念、结构以及消息格式会有不同。这

4、直接导致了Agent之间的通信不畅，所以需要在各个Agent之间共享知识和统一消息格式。本体和形式概念分析就是针对上述问题所提出的一种通信方法，使用结合本体和形式概念分析知识计算出Agent间的理解度进行通信，可以增强Agent对消息内容的语义理解，提高交互和协作的效率，从而提高软件的重用性、互操作性和可靠性。随着互联网的高速发展，通用爬虫在浩瀚如海的网络世界里，对高效提取有效网页信息显得越来越力不从心。而主题爬虫是解决通用搜索引擎可扩展性限制的有效方法，它可以指导抓取URL链接，并有效的析取与目标网页相关度高的网页内容。本文提出了一个基于多Agent系统的主题爬虫模型，并依赖本

5、体和形式概念分析来尝试计算AgentCrawler间的理解度。通过计算概念与概念之间的相似度，概念与Agent之间的相似度以及Agent与Agent之间相似度来衡量这个理解度，并将其应用在基于多Agent系统的主题爬虫中来指导爬行。本文的主要研究内容归纳如下：1．本文提出了一种基于多Agent网络爬虫的理解度的衡量方法。计算智能AgentCrawler中概念间的相似度时，不单单是自然语言词与词之间的比较，还利用本体知识考虑了其语义关系。即将概念的外延扩展到各个网页之间的链接关系，将概念的内涵加入本体中的相等、相似、上义、下义和Part．Of等语义关系，并且本文还考虑了概念格的层次

6、对概念相似度的影响。这样可以从某种程度上消除自然语言的模糊性，提高理解的准确性。2．本文使用基于JADE平台设计实现了基于多Agent系统的主题爬虫模型，使用改进的合同网协议模拟多Agent间的协调。最后利用抓取回来的网页数据对模型进行测试，实验结果表明基于多Agent系统的主题爬虫模型检索的网页相关性、相对回报率都有一定的提高。关键词：多Agent系统；主题爬虫；本体；形式概念分析；协作AbstractTheMulti-Agentsystem(MAS)isakindoftechnologytoachievecertainsystemtargetsortosolvesomepro

7、blemsinlargescaleusingthecharacteristicsofAgent--autonomy，flexibility，interactionandotherfeatures．InMAS，communicationiSthebaseofcooperationandnegotiationamongagents．However，differentAgentwhichstandsindifferentplatformorholdsdifferentknowledge