户行为分析的搜索引擎自动性能评价

《户行为分析的搜索引擎自动性能评价》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据ISSN1000—9825，CODENRUXUEWJournalofSoftware，V01．19，No．11，November2008．PP．3023—3032DOI：10．3724／SP．J．100I．2008．03023o2008byJournalofSoftware．Allrightsreserved．基于用户行为分析的搜索引擎自动性能评价刘奕群1+，岑荣伟1，张敏1，茹立云2，马少平1E-mail：jos@iscas．ac．cnhttp：／／www．jos．org．cnTel／Fax：+86-10．625625631(清华大学计算机科学与技术系

2、智能技术与系统国家重点实验室清华信息科学与技术国家实验室(筹)，北京100084)2(搜狐公司研发中心，北京100084)AutomaticSearchEnginePerformanceEvaluationBasedonUserBehaviorAnalysisLIUYi．Q衄1+，CENRong-Weil，ZHANGMinl，RULi-Yun2，MAShao-Pin911(TsinghuaNationalLaboratoryforInformationScienceandTechnology，StateKeyLaboratoryofIntelligentTech

3、nologyandSystems，DepartmentofComputerScienceandTechnology，TsinghunUniversity。Beijing100084，China)2(SohuIne．Research衄【dDevelopmentCenter。Beijing100084，China)+Correspondingauthor：E-mail：yiqunliu@tsinghea．edu．皿．http：llwww．their．cn／group／一YQLie／LluYQ，CenRW，ZhangM，RuLY，MaSP．Automaticsearc

4、hengineperformanceevaluationbasedouuserbehavioranalysh．JournalofSoftware,2008，19(11)：3023-3032．http：／／wwwjos．org．cn／1000·9825／19／3023．htmAbstrlet：Withclick-throughdataanalysis．anautomaticsearchengineperformanceevaluationmethodisproposed．Thismethodgeneratesnavigationaltypequerytopicsa

5、ndanswersautomaticallybasedonsearchuser8’queryingandclickingbehavior．ExperimentalresultsbasedonacommercialChinesesearchengine’Suserlogsshowthattheautomaticmethodgetsasimilarevaluationresultwiththetraditionalassessor-basedones．ThismethodCanalsoprovidetimelyevaluationresultswithlittleh

6、umanefforts．KeyWOrds：Webinformationretrieval；performanceevaluation；userbehavioranalysis摘要：基于用户行为分析的思路，提出了一种自动进行搜索引擎性能评价的方法．此方法能够基于对用户的查询和点击行为的分析自动生成导航类查询测试集合，并对查询对应的标准答案实现自动标注．基于中文商业搜索引擎日志的实验结果表明，此方法能够与人工标注的评价取得基本一致的评价效果，同时大大减少了评价所需的人力资源，并加快了评价反馈周期．关键词：网络信息检索；性能评价；用户行为分析中图法分类号：TP393文

7、献标识码：A检索系统的评价问题一直是信息检索研究中最核心的问题之一，Saracevic[1】指出．‘‘评价问题在信息检索研发过程中处于如此重要的地位，以至于任何一种新方法与它们的评价方式都是融为一体的"．Kent首先提出了精确率．召回率的信息检索评价框架(根据文献【l】)，随后，美国政府所属的研究机构开始大力支持关于检索评价·SupportedbytheNationalNaturalScienceFoundationofChinaunderGrantNos．60621062，60503064．60736044(国家自然科学基金)；theNationalBasic

8、ResearchProg