【硕士论文】全功能检索系统搜索引擎设计.pdf

《【硕士论文】全功能检索系统搜索引擎设计.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、湖北_T-业大学硕士学位论文摘要当今的社会已经由信息主宰，用户对于计算机的应用提出了更多的需求。用户对于事务处理的电子化与自动化，信息管理自动化系统，web搜索引擎的需求越来越大，在这个背景下，搜索服务模块的开发也越来越成为信息系统软件开发的重点。本文首先具体介绍web搜索技术，软件系统开发方法，系统模型设计，web搜索服务架构，web挖掘算法技术等。其中，web搜索服务开发方法中，着重介绍了常用的开发模型的开发过程和步骤。从web搜索服务设计角度，介绍了搜索引擎的基本概念，网络架构设计的方法和原则，以及web搜索服务的工作原理和架构设计等等。重点介绍了Spider

2、技术，描述了网络蜘蛛的特性，网络蜘蛛的模型和搜索技术的解决方案。结合网络爬行器的基本功能，阐述了网络蜘蛛抓取策略，并分析了网络蜘蛛两种不同策略的效率，完成了索引建立模块和关键词检索主要功能模块的设计和开发。引入基于隐马尔可夫模型(HMM)的词性标注、交集型歧义排歧并实现对纯文本文件进行分词，然后对分词后的文件建立词索引和字索引。关键词：web搜索服务，网络蜘蛛，隐马尔可夫模型，搜索引擎湖北工业大学硕士学位论文第1章引言1．1本课题的研究背景和应用前景本课题的内容是对全功能检索系统的搜索引擎设计的应用进行研究。在课题研究过程中，主要是基于信息检索系统项目，在项目的具体

3、实施和实践过程中，从技术和应用的角度展开信息系统以及Web搜索技术的研究。1．2信息检索系统和Web搜索的技术背景90年代以来，很多中小企业和单位都开发了信息管理系统。并一直在不断地改进、完善。而企业管理系统是一个复杂、庞大的人机交互性很高的系统。涉及网络、通讯、办公自动化、财务管理、业务管理以及其它企业管理。知识管理是21世纪企业管理最重要的课题之一，也是企业维持永久竞争优势的根本。知识管理最重要的因素就是知识的共享；而建立一个可以企业内部有效率且安全地分享知识的机制，就是知识管理的第一步。全功能检索系统的搜索引擎正是知识共享的最佳解决方案，因为通过搜索引擎可以整

4、合企业内部不同文件格式的信息资源，无论是结构化的数据库资料或是非结构化的文件，都可以纳入全文检索的范围，让员工能快速地找到他所要的信息，降低信息获得的成本。Web上的数据正以每天新增一百万个页面的速度增长，Web已经成为人们获取信息的重要手段。如何在Web这样的分布式环境中找到有价值的信息，并从中提取出知识内容已经成为目前信息检索、数据挖掘和知识管理等研究领域的重要课题。搜索引擎n1为人们提供了检索Web上相关信息的方法口1，搜索引擎对Web上的文档进行索引并进行分类，为人们提供一个Web内容的层次化的目录结构；有的搜索引擎对Web上的页面进行全文索引，提供基于关键

5、词的检索。随着wWw信息的指数增加，目前的搜索引擎存在搜索速度慢、死链接太多、重复信息或不相关信息较多，难以满足人们的各种信息需求，搜索引擎将向智能化口】、精确化、交叉语言检索、多媒体检索、专业化等适应不同用户需求的方向发展。①智能化的搜索引擎：它是搜索引擎的发展方向。它利用智能代理技术对用户的查询计划、意图、兴趣方向进行推理，自动进行信息搜集过滤，自动地将用户感兴趣的、对用户有用的信息提交给用户。湖北工业大学硕士学位论文②重视查询结果的精度，提高检索的有效性：解决查询结果过多的现象目前有以下几种方法：a．构建基于内容的搜索引擎。基于内容的搜索的比较成熟的解决方案是

6、依靠语义网络、汉语分词、句法分析、处理同义词等信息处理技术最大程度地了解用户的信息需求。b．将用户提问转化为系统已知的问题，然后对已知问题进行解答，以求降低对自然语言理解技术的依赖性。C．用正文分类技术将结果分类，使用可视化技术显示分类结构，用户可以只浏览自己感兴趣的类别。d．进行站点类聚或内容类聚，减少信息的总量。e．让用户对返回结果进行选择，进行二次查询是一种非常有效的手段。⑨实现交叉语言的检索：对多种语言的数据库进行交叉语言信息检索，返回能够回答用户问题的所有语言的文档。该技术目前还处于初步研究阶段，是搜索引擎的发展方向。④多媒体搜索引擎：由于未来的互联网是多

7、媒体数据网络，开发出可查询图像、声音、图片和电影的搜索引擎是一个新的方向。⑤专业化搜索引擎：是为了专门收录某一行业、某一主题或某一地区的信息而建立，具有针对性强、实用性强的特点。如商务查询、企业查询、人名查询、专业信息查询等等。1．3搜索引擎的发展趋势搜索引擎的发展历史是一个挖掘用户需求然后满足用户需求的过程。在可以预见的不久的将来，从产品角度看待网页搜索引擎的发展n1大致有如下几个方面：1．3．1信息抽取，优化排序用户在搜索用到“最新"、“免费"、“官方网站"、“北京’’、“电话"等关键词的时候并不是一定需要网页中有这个关键词，而是找这类信息。用户在找“最新"