移动互联网搜索中的信息过滤技术研究及实现方案

《移动互联网搜索中的信息过滤技术研究及实现方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、http://www.paper.edu.cn移动互联网搜索中的信息过滤技术研究及实现方案李明凯，薛伟冬，孟仁兴北京邮电大学PCN&CAD中心，北京（100876）E-mail：onlylmkyou@163.com摘要：目前，继传统互联网搜索的快速发展和广为接受之后，移动互联网搜索以其更大的便捷性成了人们关注的一个新热点。然而，由于移动终端的能力限制等因素，移动互联网搜索在实际应用中上还存在着一些问题，特别是繁冗复杂的普通互联网内容在移动终端屏幕上的呈现问题。本文作者通过分析移动终端的特点，参考传统搜索引擎的原理

2、，对页面主体内容提取，智能用户兴趣代理和标记语言转换等相关技术进行了研究和比较，提出了一种基于信息过滤技术的移动互联网搜索内容呈现的解决方案，并对方案进行了初步的试验验证。关键词：移动互联网搜索，信息过滤，主体内容提取，智能用户兴趣代理，标记语言转换1.引言互联网信息的迅速膨胀催生了搜索技术的快速发展，而移动终端的普及使用和终端功能的不断增强使移动搜索成为新的研究和应用热点。现在一般把移动搜索分为两大类：垂直搜索和综合搜索。垂直搜索一般是分类搜索，针对性强，准确度高。综合搜索沿袭了以往互联网搜索的模式，通过移动通

3、信网络或无线互联网络对WAP或WEB页面进行全面搜索，且主要为基于关键字的查找方式。用户在体验到互联网搜索的好处后，也对能通过移动终端进行类似的内容搜索表现了极大的兴趣和期望。而考虑移动终端的显示局限等特点，为了给移动终端用户提供更有针对性和个性化的搜索结果，需要对搜索到的互联网信息进行过滤和筛选。本文针对这一问题进行了一系列的研究和阐述，并提出了一套信息过滤解决方案。2.移动互联网搜索概述2.1移动搜索与移动互联网搜索搜索引擎提供的服务已经成为互联网非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。而时至

4、今日，人们的信息需求正在变得无处不在，无时不有，这就要求搜索服务拥有较强的移动性和便携性，同时又能充分保证搜索内容的有效呈现。基于PC的搜索在移动性和便携性都已满足不了新形势的要求，搜索引擎已经延伸向了移动互联网，移动搜索应运而生。移动搜索是基于移动通信网络的搜索技术总称。一般的，依据搜索内容可将移动搜索分为综合搜索和垂直搜索两类。表1移动搜索分类搜索分类搜索内容搜索特点信息量大，针对性差，（类似综合搜索搜索WAP以及WEB站点内容有线互联网搜索在移动设备上的延伸）分类型内容服务，如媒体类型（音频、准确度高、针对

5、性强、可实现垂直搜索视频、图片等）、领域内容（科技、个性化结果定制，更符合移动体育、娱乐等）及本地信息搜索等终端技术特点-1-http://www.paper.edu.cn对于垂直搜索，如本地信息搜索（酒店，学校等）等业务已经有不少的业务开展，其数据内容多是通过数据库搜索等方式得到，和普通互联网的网页内容搜索有所不同。而对于综合搜索，类似互联网搜索，搜索引擎进入WAP网络或通过网关转换由WAP接入WEB网络，对WAP或WEB网络上的站点内容进行搜索，根据一定规则将链接和内容做索引存储。用户通过编辑短信或键入关键词

6、提交搜索请求，搜索引擎通过移动通信网络将结果反馈给用户终端。以Google、Baidu为代表的搜索引擎门户已相继推出了这种服务，让用户可以通过手机进入WAP或WEB进行网页搜索。本文所讲的移动互联网搜索即指这种综合搜索。2.2移动互联网搜索的信息过滤问题从以下几个角度考虑，由移动终端的特点决定，必须对移动互联网搜索的结果进行信息过滤：ò移动终端屏幕较小，无法像PC终端屏幕那样显示过于冗余复杂的页面。ò用户使用移动终端习惯于较少的操作次数，因此数量过多的结果分页显示会大大降低用户操作的便利性，不易被用户接受。ò移动

7、终端处理器能力和内存量一般较低，不宜承受过于复杂的数据内容的下载和显示。ò移动终端电量有限，过大的数据传输和显示会急剧加速电量消耗，影响正常使用。3.移动互联网搜索信息过滤方案3.1信息过滤技术方案概述参考比较成熟的互联网搜索引擎的体系结构[2]，作者提出了基于移动互联网的搜索引擎的简单体系结构，其基本原理示意如下。图1移动互联网搜索的基本原理示意图信息收集和预处理主要包括网络爬虫,索引排序，数据存储等搜索处理的前期过程。鉴于篇幅有限，在此不赘述信息收集和预处理的详细内容。本文重点阐述的信息过滤显示部分属于信息查

8、询过程。在用户提交搜索查询请求后，服务端将已经进行主要内容提取后的精简页面，再根据用户个性化要求进行筛选，并经过WEB页面到WAP页面的标记语言转换，将内容返回用户[1]。整个信息过滤过程分为三个阶段：1.网页主体内容提取。由于大部分WEB页面内容冗余复杂，在移动互联网搜索引擎将WEB页面内容进行快照下载后，为了满足移动终端的要求，要对网页内容进行主体过滤提取。提取出网页