浅议面向internet的信息过滤方法研究

《浅议面向internet的信息过滤方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南开大学博士学位论文面向Internet的信息过滤方法研究姓名：李宝林申请学位级别：博士专业：控制理论与控制工程指导教师：王秀峰20040401摘要随着Intemet应用的普及，Intemet已经发展成为当今世界上最大的信息库和全球范围内传播信息的最主要渠道之一，其中WWW(WorldWideWeb)的发展最为迅速。WWw是以超文本的形式呈现给用户的。包含了从技术资料、商业信息到新闻报道、娱乐信息等多种类别和形式的信息，为用户提供了一个极具价值的信息源。Intemet上的信息变化更新实在太快，基本上呈几何级数增长，人们要在浩瀚的信息资源中找到自己需要的内容，无异于大海捞针。此外，Int

2、emet的开放性、动态性和异构性更加加剧了人们发现、收集和维护自己需要的信息的困难。另一方面，网络信息安全问题也『F摆在人们的面前：一些不法分子利用Intemet传播一些色情、反动、暴力、迷信等不良信息。这些不健康的信息侵蚀着越来越多的网络用户，给社会秩序造成了极大的危害。因此，如何帮助人们有效地选择和利用所感兴趣的信息，尽量剔除不相关的信息和不良信息，已经成为一个新的研究热点。近年来，人们把信息检索技术、机器学习等技术结合起来，提出利用信息过滤系统来解决这个问题。信息过滤系统通过与用户之阳J的交互作用动态地学习用户的信息需求，帮助用户从Internet上获取用户感兴趣的资料，滤除无关

3、信息以及不良信息。本文对信息过滤过程的主要环节和关键技术方面进行了深入的研究，并针对当前研究中存在的不足，提出了解决信息过滤问题的新思路、新方法，大大提高了信息过滤系统的整体性能。本文的主要内容如下：对目前研究工作较少，但在信息过滤过程中又非常重要的环节一文本预处理进行了较为深入的研究。重点讨论了将无结构、半结构化文本转化结构化数据的方法，并给出文本预处理的逻辑框架。针对孤立词条代表文本的表示方法的缺陷，提出利用词组来代替孤立的词条进行文本表示的概念，并基于扩展的语义网络一概念推理网来自动识别词组。同时，针对网络信息安全问题的特点，提出了挖掘文本中的潜在特征词(词组)的新思路，并给出于

4、关联分析技术的特征词(词组)鉴别的新方法，一定程度上克服了传统过滤系统无法识别变形特征词的缺陷。对信息过滤过程中的用户建模技术进行了深入的探讨。针对信息过滤系统的冷启动问题，提出基于Ontology理论的解决方案及具体实施办法。同时，文中还提出一种即可解决冷启动问题又可优化用户模型的新颖的合作过滤方法，该方法凭借动态遗传算法进行启发式关键词的选择，可以有效地与其它用户分享信息选择经验，提高信息选择的质量。我们还提出和完善词条权值评价指标，包括词条分布的均匀性和集中性等，使得词条重要性的评价更加合理、科学。文中还引入两种计算智能技术一基于协同演化的遗传算法及基于粗糙集理论的数据约筒方法指

5、导主题特征的获取，优化用户模型。此外，文中对训练文集精炼、基于例外规则的多层次用户模型等方面也进行了论述。为弥补单一信息过滤算法的不足和充分发挥多过滤算法问的互补性，我们提出多算法精化式信息过滤方法。文中重点介绍两种增强型信息过滤方法：基于隐马尔可夫模型的过滤算法和基于例外规则的过滤算法。多算法精化式信息过滤方法收到了较好的过滤效果。针对文本外延过滤方法的局限性，提出分析文本概念语义的解决思路，并基于《知网》资源对文本进行自然语言理解。文中借助模糊与框架网络技术相结合对《知网》进行预处理，并提出概念相似度计算、概念消歧、概念语义在信息过滤中应用等新方法，为准确衡量文本主题之间的相似度奠

6、定了基础。作为信息过滤技术的实际应用，我们设计并实现了一个基于多Agent技术的信息过滤原型系统--NetSniper。文中主要介绍NetSniper的体系结构、设计思想和实现过程中所遇问题的解决方案。特别的，文中讨论了基于计算市场理论的多Agent协作模式以及多Agent通讯语言一IFACL等关键技术。关键词：信息过滤粗糙集遗传算法隐马尔科夫模型概念语义知网原型系统StudiesonInternet—BasedInformationFilteringMethodsAbstractWithitswiderusage，theInternethasbecomethebiggestinfor

7、mationresourceandoneofthemajorchannelstospreadtheinformationallovertheworld．andwww(WorldWideWeb)hasbeendevelopingatthefastestspeed．WWWpresentsusers，intheformofhypertext，withvarioustypesofinformation，suchastechnologicaldocume