基于分布式的资源检索系统设计与实现(山东财政学院)

《基于分布式的资源检索系统设计与实现(山东财政学院)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于分布式的资源检索系统设计与实现刘杰君，梅炀，李超，廉翠翠，吴俊（山东财政学院，济南，250014）摘要：本系统是建立在j2ee三层架构之上的网络资源检索系统，以XML为数据库，在分布式的条件下，检索出用户需要的信息。本系统对分布式结构做了优化，提出了一种新的分布式结构：选举注册发布。同时融合大赛提出的结构以及进程选举，p2p，路由算法等方案的提出的一种分布式结构；对XML进行了优化预处理，制作成倒排索引表；检索过程更加智能化，人性化；采用流媒体技术，开发出一套独立的流媒体转换处理播放系统,使播放效果更加流畅；采用中文分词，并支持全

2、文检索，使搜索结果更加符合用户的需要；提供多种综合查询方式，方便用户的查找；开发出一套TaoJin开发引擎；增加日志管理功能；对office以及pdf等主流文档类型进行预览；采用AJAX异步传输技术，实时提醒用户；同时采用Webservices和Socket针对不同平台提供查询、选举接口；针对每一个模块，每一个功能都提出多套解决方案，可以适应不同的复杂的环境；针对用户的行为进行分析，使查询结果更加符合用户的需要；提供了众多的方便用户的功能，开发出淘尽IE工具条等一系列实用工具。系统启动模块注册注销模块选举模块Webservices服务

3、Socket服务XML预处理关键字：网上掏宝；分布式；搜索引擎；选举；资源检索；Webservices；Socket；流媒体。、1程序的主要模块（1）系统启动模块用户查询模块过滤模块解析模块查询模块敏感词汇模块拼音转汉字模块错误检查模块表达式解析模块序列化模块反序列化模块中文分词模块排序保存模块高级搜索模块表达式搜索模块在结果中搜索模块相关搜索模块全面检索模块精确检索模块全文检索模块分类搜索模块高亮显示模块（2）用户查询模块显示模块文本预览视频播放AJAX预览网页预览普通网页播放流式播放（3）显示模块截图预览管理模块登录模块用户管理模

4、块资源管理模块定期事件模块词库模块资源权重模块资源缓存模块服务器初始化模块主服务器配置模块服务器配置模块服务器管理模块（4）管理模块2系统架构与实用技术（1）采用MVC的三层架构（见下图）从开发角度和应用角度来看，三层架构比双层或单层结构都有更大的优势。三层结构适合群体开发，每人可以有不同的分工，协同工作使效率倍增。开发双层或单层应用时，每个开发人员都应对系统有较深的理解，能力要求很高，开发三层应用时，则可以结合多方面的人才，只需少数人对系统全面了解，从一定程度上降低了开发的难度。三层架构可以更好的支持分布式计算环境。逻辑层的应用程序

5、可以有多个机器上运行，充分利用网络的计算功能。分布式计算的潜力巨大，远比升级CPU有效。也是三层架构的最大优点是它的安全性。用户端只能通过逻辑层来访问数据层，减少了入口点，把很多危险的系统功能都屏蔽了。表示层(UI)业务逻辑层(BLL)数据访问层(DAL)（2）使用技术整个系统的实现是基于j2ee_5的。三层架构是采用Struts2.0+jsp2.0+servlet+javabean来实现的。系统的框架采用目前最流行的框架Struts2.0。采用异步传输技术AJAX，实现用户输入的实时提示。中文分词采用lucene-2.3.2和中文分

6、词器IKAnalyzerV2.0.2。对XML的解析处理采用dom4j-1.6.1。增加日志功能，记录系统运行情况以及遇到的问题log4j。定期触发事件，可以重新索引，采用quartz技术。Webservices技术采用xfire-1.2.6，提供选举和查询的功能。为了提高查询效率，特别提供socket技术接口，大大提高了查询的效率。采用poi技术实现对office的预览功能。采用jacob，作为对poi技术的补充，解决部分特殊格式的问题。流媒体服务器端采用ffmpeg+mencoder+FMS，实现流媒体服务器端。流媒体客户端采用a

7、ctionScript3.0和流媒体服务器端的实时通信。3各技术详细说明（1）选举、注册、注销技术本系统对分布式结构做了优化，提出了一种新的分布式结构：选举注册发布。同时融合大赛提出的结构以及进程选举，p2p，路由算法等方案的提出的一种分布式结构；先说说“正常”情况下的执行过程：默认主服务器启动。然后其余服务器启动，到主服务器上面去注册，主服务器告诉该服务器当前已经注册的主机信息，然后主服务器通知已经注册的主机又有一台新的主机加入了。主机注销：主机注销时，通知主服务器本主机注销，然后主服务器通知其余主机该主机注销。即实现了资源服务器动

8、态的加入和退出。当检索资源的时候，如果发现有资源服务器当掉了，则将其注册信息删除。下面是选举的执行过程：当一台“注册”或者“注销”或“查询”的主机发现主服务器当机的时候，开始选举过程。发现主服务器当机的服务器开始向“优先