.net分词搜索程序说明书

《.net分词搜索程序说明书》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、.Net分词搜索程序说明书ShootSearch（开发代号：SpiderMan）说明书文件状态：[√]草稿[]正式发布[]正在修改文件标识：ShootSunStudio-SpiderMan-20070815当前版本：0.1作者：YinJun完成日期：未完成ShootSunStudio射日工作室http://www.shootsoft.netsupport@shootsoft.net源码及文档下载地址：http://www.51aspx.com/code/ShootSearch.Net分词搜索程序说明书版本历史版本/状态作者参与者起止日期备注0.1尹君无2007/8

2、/152006/8/17源码及文档下载地址：http://www.51aspx.com/code/ShootSearch.Net分词搜索程序说明书目录0.文档介绍40.1文档目的40.2文档范围40.3读者对象40.4参考文档51.产品介绍62.产品面向的用户群体63.产品应当遵循的标准或规范64.ShootSearch命名空间65.ShootSearch的使用75.1站内搜索75.2远程采集9源码及文档下载地址：http://www.51aspx.com/code/ShootSearch.Net分词搜索程序说明书0.文档介绍本文档主要介绍有关ShootSearc

3、h（开发代号：SpiderMan）的各组件类库和如何使用ShootSearch来进行数据的采集和搜索。0.1文档目的因为ShootSearch（开发代号：SpiderMan）并没有一个比较系统的介绍，所以为了方便大家使用也为了规范以后的开发，特编写此文档。因为0.2版在架构上出了点问题，所以0.2版不再做更多的更新了，我现在的工作主要放在0.3版的设计上了。目前已经确定的改进如下：1.已处理队列不再使用.Net自带的Hashtable，而改用BloomFilter；2.未处理队列将变成两个:A和B，A保持一定数量的Url，当A超出时向B内增加，当B满后写入磁盘…这

4、样就可以保证处理更多的Url；3.Spider下载/Mirror处理两个模块将更好的配合，以便同时处理多个网站，这些网站可以使用相同规则，也可以对应不同的处理规则；4.改进索引线程的控制，使其更加灵活5.处理规则的改进，内存中不再创建DataTable，而是直接采用XmlDocument对象，这样就能更加灵活的进行处理；6.传递对象—IndexItem的属性将不限于Url，Title，Body等，可以使用自定义的属性；0.2文档范围目前ShootSearch版本为0.2版，并没有使用Ndoc之类的工具来生成完整的类库说明之类的说明性文档，同时因为ShootSear

5、ch正在开发中，所以并不推荐最终用户的使用，因此在说明时可能会使用一些比较专业的词汇，但文档就此一份，不太好区分什么开发用户，最终用户之类的，有些地方的说明可能会比较的详细以致让部分用户觉得有些烦琐。0.3读者对象.Net下面的搜索爱好者，程序开发人员，系统设计人员，最终用户…源码及文档下载地址：http://www.51aspx.com/code/ShootSearch.Net分词搜索程序说明书0.4参考文档源码及文档下载地址：http://www.51aspx.com/code/ShootSearch.Net分词搜索程序说明书1.产品介绍ShootSearch

6、的研发代号为：SpiderMan。你可以理解为蜘蛛侠，而我更愿意认为是管理蜘蛛的人:-)。因为ShootSearch的最初开发目的是希望能够对HTTP，FTP，本地磁盘和网络邻居磁盘四种资源进行检索。每种资源对应一种蜘蛛程序，而管理这些个蜘蛛的就可以成为管理蜘蛛的人了。用户可以设定要检索的网址，FTP服务器或是本地/网络磁盘路径，然后由ShootSearch来为这些资源做索引，方便搜索。2.产品面向的用户群体目前ShootSearch还正在开发中，因此用户主要是一些开源软件的爱好者，有初级搜索需求的用户。3.产品应当遵循的标准或规范ShootSearch是基于Lu

7、cene.Net（以前叫DotLucene）的开源搜索引擎，采用C#编码，源码开放，遵守GPL协议。有关协议的英文版请参考：http://www.gnu.org/copyleft/gpl.html中文版详细情况请参考：http://www.emule.org.cn/about/gpl/4.SHOOTSEARCH命名空间ShootSearch命名空间如下所示：目录/程序名类型用途说明ShootSearch.Spider类库蜘蛛程序ShootSearch.Mirror类库镜像处理程序ShootSearch.Indexer类库索引制作程序ShootSearch.Logg

8、er类库日