自动文摘测试大纲.doc

《自动文摘测试大纲.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、全文检索评测大纲一、评测对象本次评测的对象为中文计算机全文检索系统中的核心技术。二、评测内容本次评测主要评测全文检索系统的准确率、召回率、F1值以及P@10等技术指标。检索的内容包括互联网上HTM、HTML、TXT这三种格式的文件，所有文件都未经人工修改，完全保持原貌。三、评测方法1.评测方式本次评测为现场测试，采用自动评测与人工评测相结合的方式进行。（1）小规模数据评测从互联网采集一定数量的真实网页等文本，人工对其进行分类等操作，作为标准答案。被测试系统在此数据集上进行测试，可以进行所有各项指标的评测

2、。（2）大规模数据评测测试集采用互联网上的采集的信息，由于测试数据较多，无法完全依靠人工方法构造标准答案。如果参加单位足够多，可以参照TREC的方法，将所有参赛单位的答案合并作为候选集合，再通过人工筛选得到一个模拟标准答案，利用这个模拟标准答案，也可以进行所有各项指标的评测。如果参赛单位不多，无法构造模拟标准答案，那么就只进行P@10指标的评测。2.评测步骤·在评测单位统一提供的评测环境上安装被测系统；·评测单位事先给出评测语料库，语料库中所有语料文件都放在一个指定的目录下面；·评测单位现场给出评测用的

3、查询语句；·被测单位运行全文检索系统，并将输出的检索结果交给评测单位；·评测单位现场运行自动评测程序，得出自动评测结果；·评测单位事后组织专家进行人工评测，并公布人工评测结果。3.评测标准（1）一般原则一般地，全文检索的质量应从以下几个方面加以评价：·检索的准确性，所检索出来的内容应该尽量符合检索条件；·检索的全面性，应该尽量检索出所有符合检索条件的内容；（2）量化指标①准确率：检索的准确性×100%②召回率：检索的召回率×100%③F1值：④平均准确率：计算Recall=0,0.1,0.2,…,1.0

4、上分别对应的Precision然后求平均。⑤P@10：检索第10个正确答案时的准确率。（3）其它①小规模数据测试与大规模数据测试，均分列成绩，并不合计；②小规模数据测试最终排名以F1值为准，准确率与召回率均为参考指标，不进行排名；③大规模数据测试最终以平均准确率和P@10为准；④检索系统所用时间也作为参考指标。4.输入输出文件格式（1）查询语料库查询语料库是一个计算机文件的集合，所有的文件都放在一个指定的目录下（假设指定目录是”X:/corpus”，其中X是驱动器号）。（2）输入文件格式输入文件采用XM

5、L格式，每个查询语句（query）由标题（title）、描述（description）和叙述（narrative）三个部分组成，例如：为北京2008年奥运会提供个性化的多语言信息服务系统叫作什么?与多语言智能信息服务网络系统无关的奥运科技项目不在检索范围内.哪几家公司中标建设国家体育场

6、?仅检索与国家体育场建设单位有关的内容，其它关于国家体育场的不在检索范围内奥运体育场馆建设所要遵循的原则仅检索有关奥运体育场馆建设原则的内容……（1）输出文件格式输出文件采用XML格式，对每一查询，系统返回结果文件相对于指定目录的相对路径，并按照相关度递减的顺序给出。形式如下：

7、d=”1”>dir1/file1.htmdir2/dir21/file2.txt……dirn/filen.doc……这这个例子中，对于查询1，测试系统返回了n个结果文件，其文件路径分别是：X:/corpus/dir1/file1.htmX:/corpus/dir2/dir21/file2.txt……X:/corpus/dirn/filen.doc四、评测环境本次评测环境包括：操作

8、系统为Windows2000，硬件配置不低于：P41GHz，256M内存，40GIDE硬盘。