比较不同评价方法评价结果的两个新指标

《比较不同评价方法评价结果的两个新指标》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、比较不同评价方法评价结果的两个新指标——以《泰晤士报高等教育副刊》大学排名为例俞立平潘云涛武夷山摘要：本文利用英国《泰晤士报高等教育副刊》2007年世界大学排名的原始数据，分别采用主成分分析、因子分析、TOPSIS法、秩和比法、灰色关联法、熵权法六种客观赋权法进行评价。然后采用首尾一致率比较各种评价方法结果的一致性程度，采用区分度评价各种评价方法结果的可靠性。发现排名靠前大学的首尾一致率要超过排名靠后大学的首尾一致率；排名靠前与靠后大学的区分度要超过排名中间大学的区分度；虽然标准差反映了评价结果的分散范围，但区分度与评价结果的方差无关；综合评价结果适用于宏观分级评价，对

2、于微观严格排序的评价，最好采用同行评议与客观赋权评价相结合的方式。关键词：科学技术教育评价首尾一致率区分度TwoNewIndicatorstoCompareDifferentEvaluationMethods’EffectYuLiping,PanYuntao,WuYishanInstituteofScientificandTechnicalinformationofChinaBeijing,100038Abstract:Adoptinghedataofthe2007TimesHigher-QSworlduniversityrankings,thispaperanalyz

3、esworlduniversityrankingsaccordingtoprinciplecomponentsanalysis,factoranalysis,techniquefororderpreferencebysimilaritytoidealsolution,ranksumratio,greyrelationalanalysis,Entropyanalysis,thenanalysestheevaluationresultssamenessanddifferencebasedonsidesamenessindicatoranddifferentratio.The

4、resultsshowthetopuniversities’sidesamenessishigherthanthatofbottomuniversities,thesidedifferentratiosishigherthanthatofmiddleuniversities.Thedifferentratioisindependentofstandarderror.Theevaluationresultsisagoodmethodtoclassify.Combiningpeerreviewwithimpersonalevaluationissuitableformicr

5、ocosmicranking.Keywords:Evaluation;education;scienceandtechnology;sidesameness;differentratio1引言科技教育评价是科教管理工作的重要组成部分，是推动国家科教事业持续健康发展，促进科教资源优化配置，提高科教管理水平的重要手段和保障。目前国内外综合评价方法有数十种之多，包括模糊数学方法、系统工程方法、技术经济方法等等。这些评价方法各有其特点，但大体上可分为两类，其主要区别在确定权重的方法上。一类是主观赋权，多数采取综合咨询评分确定权重，然后对无量纲的数据进行综合，如综合指数法、模糊综

6、合评判法、层次分析法、功效系数法等；另一类是客观赋权，根据各指标间相关关系或各指标值变异程度来确定权数，如主成分分析法、因子分析法、TOPSIS法等等。存在的主要问题是，针对同一评价对象，选取相同的指标，采取同样的数据，但不同评价方法得出的评价结果不一致，这个问题已被广大学者所注意到，有必要进行进一步的深入研究。[1]一些学者在各种主客观赋权法比较方面进行了研究。刘占伟、邓四二、滕弘飞（2003）从理论上分析了常见的几种评价方法的特点及存在的问题，包括层次分析法、模糊评价法、灰色理论法、物元分析法、聚类分析法、价值工程法、神经网络法以及综合评价法。陈衍泰，[2]陈国宏，

7、李美娟（2004）将各学科领域的综合评价方法归纳、分类，讨论了各类方法的基本原理、优缺点及适用领域，指出目前综合评价存在着三大问题：多方法评价结论的非一致[3]性问题；方法针对性不强；理论研究与实际应用的脱节问题。吴清平、张丹（2003）在医疗工作质量评价中对秩和比法、层次分析法、TOPSIS法、系统聚类法的评价结果进行比较，发现秩和比法与其他方法具有一定的一致性。总体上这方面的研究不多，实证研究更少，较少有定量方法对各种不同评价方法的结果进行比较。本文拟用首尾一致率作为衡量各种评价方法评价结果一致性程度的指标。用区分度作为各种评价方法评