资源描述：
《基于用户行为分析的搜索引擎自动性能评价》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、xxxx-xxxx/xxxx/xx(xx)xxxx©2007JournalofSoftware软件学报Vol.xx,No.x∗基于用户行为分析的搜索引擎自动性能评价1+2345刘奕群,岑荣伟,张敏,茹立云,马少平1，2，3，5(清华大学智能技术与系统国家重点实验室,北京100084)4(搜狐公司研发中心,北京100084)*AutomaticSearchEngineEvaluationBasedOnUserBehaviorAnalysis1+2345LIUYi-qun,CENRongwei,ZHANGMin,RULiyun,MAShao-ping1,2,3,5(Sta
2、teKeyLabofIntelligentTechnologyandSystems,TsinghuaUniversity,Beijing100084,China)4(SohuInc.ResearchandDevelopmentCenter,Beijing100084,China)+Correspondingauthor:Phn:+86-10-62777702,Fax:+86-10-62771138,E-mail:liuyiqun03@mails.tsinghua.edu.cn.,http://www.csai.tsinghua.edu.cnAbstract:Perfo
3、rmanceevaluationisanimportantissueinWebsearchengineresearches.Traditionalevaluationmethodsrelyonmuchhumaneffortsandarethereforequitetime-consuming.Withclick-throughdataanalysis,weproposedanautomaticsearchengineperformanceevaluationmethod.Thismethodgeneratesnavigationaltypequerytopicsand
4、answersautomaticallybasedonsearchusers’queryingandclickingbehavior.ExperimentalresultsbasedonacommercialChinesesearchengine’suserlogsshowthattheautomaticallymethodgetsasimilarevaluationresultwithtraditionalassessor-basedones.Keywords:WebInformationRetrieval;PerformanceEvaluation;UserBeh
5、aviorAnalysis.摘要:性能评价一直是网络信息检索研究中的核心课题之一。传统的评价方式需要花费大量的人力物力，时间效率也较低。基于用户行为分析的思路，提出了一种自动进行搜索引擎性能评价的方法，此方法能够自动生成导航类查询测试集合并对查询对应的标准答案实现自动标注。实验结果证明，此方法能与人工标注的评价取得基本一致的评价效果，同时大大减少了评价所需的人力、物力资源，并加快了评价反馈周期。关键词:网络信息检索;性能评价;用户行为分析中图法分类号:TP391TP393文献标识码:A1引言[1]检索系统的评价问题一直是信息检索研究中的最核心问题之一，Saracevi
6、c指出：“评价问题在信息检索研发过程中处于如此重要的地位，以致于任何一种新方法与他们的评价方式是融为一体的”。Kent首先提出了精确率—召回率的信息检索评价框架（根据[1]），随后，美国政府所属的研究机构开始大力支持关于检索评价∗得到国家重点基础研究（973）(2004CB318108)、自然科学基金（60621062,60503064）和863高科技项目（2006AA01Z141）资助.作者简介:刘奕群（1981－）,男,山东济南人,博士研究生,主要研究方向是信息检索,机器学习;岑荣伟（1982－）,男,浙江慈溪人,博士研究生,主要研究方向是信息检索,机器学习;张敏
7、(1977－),女,博士,讲师,主要研究方向为机器学习,信息检索.马少平(1961－),男,教授,博士生导师,主要研究领域为知识工程,信息检索,汉字识别与后处理以及中文古籍数字化.刘奕群等:基于用户行为分析的搜索引擎自动性能评价961方面的研究，而英国Cranfield工程在上世纪五十年代末到六十年代中期所建立的基于查询样例集、标准答案集和语料库的评测方案，则真正使信息检索成为了一门实证性质的学科，也由此确立了评价在信息检索研究[1]中的核心地位，其评价框架一般被称为Cranfield方法（ACranfield-likeapproach）。Cranf
