计算所软件室TREC-11报告

《计算所软件室TREC-11报告》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、TREC概况及TREC-11简介中科院计算所软件室王斌wangbin@ict.ac.cn2002.12.4主要内容一、TREC概况二、TREC评测方法及标准三、TREC-11介绍以及我们的工作第一部分TREC概况TREC的历史、发展与目标TREC的历史TRECTextREtrievalConference，文本检索会议一开始仅仅面向文本，现在处理对象更广情报分析和处理组织者NIST(NationalInstituteofStandardsandTechnology)，政府部门DARPA(DefenseAdvancedResearchP

2、rojectsAgency)，军方会议情况评测会议1992~2002，11届TREC的运行过程TREC由一个程序委员会(包括来自政府、工业界和学术界的代表)管理。TREC以年度为周期运行。过程为：确定任务(1~2):NIST选择某些任务，制定规范参加者报名(2~3):参加者根据自己的兴趣选择任务（报名免费，大部分数据也免费！）参加者运行任务(3~9):参加者用自己的系统运行测试问题，给出结果并将它们提交给NIST结果评估(10):NIST使用固定的评测软件和工具对结果进行评估，并将结果返回给参加者大会交流(11马里兰州的Gaither

3、sburg)：论文交流YearlyConferenceCycleTREC目标总目标：支持在信息检索领域的基础研究，提供对大规模文本检索方法的评估办法1.鼓励对基于大测试集合的信息检索方法的研究2.提供一个可以用来交流研究思想的论坛，增进工业界、学术界和政府部门之间的互相了解；3.示范信息检索理论在解决实际问题方面的重大进步，提高信息检索技术从理论走向商业应用的速度4.为工业界和学术界提高评估技术的可用性，并开发新的更为适用的评估技术。历届TREC参加单位数及任务Org.TracksTREC125Adhoc/RoutingTREC231

4、Adhoc/RoutingTREC332Adhoc/RoutingTREC436Spanish/Interactive/DatabaseMerging/Confusion/FilteringTREC538Spanish/Interactive/DatabaseMerging/Confusion/Filtering/NLPTREC651Chinese/Interactive/Filtering/NLP/CLIR/Highprecision/SDR/VLCTREC756CLIR/HighPrecision/Interactive/Quer

5、y/SDR/VLCTREC866CLIR/Filtering/Interactive/QA/Query/SDR/WebTREC970QA/CLIR(E-C)/Web/Filtering/Interactive/Query/SDRTREC1089QA/CLIR/Web/Filtering/Interactive/VideoTREC1195QA/CLIR/Web/Filtering/Interactive/Video/Novelty/历届TREC参加单位数示意图参加过TREC的部分单位Corp.UniversityAsianOrganiz

6、ationIBMMITSingaporeU.(KRDL)AT&TCMUKAISTMicrosoftCambridgeU.KoreaU.SunCornellU.PohangU.(釜项?)AppleMarylandU.TinghuaU.(Mainland，清华)TREC11FujitsuMassachusettsU.TsinghuaU.(Taiwan)TREC7NECNewMexicoStateU.TaiwanU.TREC8&9&10XEROXCaliforniaBerkeleyU.HongkongChineseU.TREC9RICOHM

7、ontrealU.MicrosoftResearchChinaTREC9&10CLRITECHJohnsHopkinsU.FudanU.TREC9&10&11(复旦)NTTRutgersU.ICTTREC10&11(中科院计算所)OraclePennsylvaniaU.HITTREC10(哈工大)测试数据和测试软件由LDC(LinguisticDataConsortium)等多家单位免费提供，但少数数据有所修改，而且必须签订协议每年使用的数据可以是新的，也可以是上一年度已经使用过的TREC使用的评估软件是开放的，任何组织和个人都可以用

8、它对自己的系统进行评测第二部分TREC评测方法及标准相关名词、评测方法名词定义TrackTREC的每个子任务，QAFilteringWebTopic预先确定的问题，用来向检索系统提问topicquery(自动或者手工)