资源描述：
《国家自然科学基金同行评议结果评价方法与专家遴选因素分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、372中国科学基金2008年·基金纵横·国家自然科学基金同行评议结果评价方法与专家遴选因素分析王国彪彭芳瑜,(国家自然科学基金委员会工程与材料科学部北京100085),2008:m年国家财政预算计划投入自然科学基金(1)项目熟悉度假设有位同行评议专家53.59亿元,比上年增长约25%川。在国家对基础icd*m第位专家的熟悉率和这位专家的平均熟悉、,研究重视程度与日俱增投入不断加大的背景下如CD:率分别定义为何,。管好用好科学基金成为大家关注的焦点问题、cd,丫为此国家自然科学基金委员会陈宜瑜主任在六届,Cd‘一火‘00%=二‘)一次全委会的工作报告中提出:
2、将适时启动“科学基苟CD茄一(”。,,‘,、,,,金资助管理绩效国际评估工作川同行专家评议式中nc(i一12⋯m)分别为第*位专家的项,,。,(peerreview)尽管存在一些缺陷[”4]但仍然是遴选目指派数量和认为熟悉的项目数量与此类似可竟争类,以定义这m位专家的平均较熟悉率和平均不熟悉项目的一种有效方式是基金项目评审工作。,、。的重要环节因此如何公正合理地遴选同行评议率这三个指标构成这m位专家对项目熟悉程度,,,。专家确保评议结果的权威性与有效性显得非常重的评价指标一定程度上反映评议结果的可信度。、:it、要文献「5]采用专家的基本情况修养和工作业绩
3、(2)项目资助度第位专家的优先资助率i和,6mT:作为选择同行评议专家的依据文献[」则从统计学这位专家的平均优先资助率J可分别定义为与集合论的角度给出了同行评议专家定量评估指,it、一火1。。·,2)。。,标然而上述研究工作侧重于对同行评议专家个瓮一体、,琴进行分析评估无法对同行评议专家群体(某一,,,,。式中nj‘(i=12⋯m)为第i位专家判定优先资类同行评议专家)进行整体评估。,本、助的项目数与此类似可以定义这m位专家的平文通过定义三个定量评价指标(项目熟悉度。、,均可资助率和平均不予资助率这三个指标构成这项目资助度项目综合评价指标偏差)以同行评议,
4、、、.、m位专家对项目资助程度的评价指标一定程度上专家的职称学位年龄当年是否申报项目作为主。,反映评议结果的公正性要影响因素以2008年度机械学科基金项目的数据,,(3)项目综合评价指标偏差:第i位专家的平为样本定量分析了影响因素对评价指标的影响度et、以期建立同行评议结果的评价方法和专家遴选的基均综合评价指标偏差和这m位专家的平均综合,。ET:本原则为科学基金资助管理绩效评估提供参考评价指标偏差可分别定义为少=凡￡1、一et、同行评议专家评议结果的评价指标万}vj马1万,e“ET.万一一刀(3)11同行评议专家评议结果的定量评价指标拼一Z-,,,,,,,
5、为反映同行评议专家评议结果的可信度(Credi式中马、(j=12⋯n*:i=12⋯m)为第i位、、-bility)公正性(Justifiability)以及有效性(Effeetive专家对指派的第j个项目的综合评价指标(综合评,,、、、,,,,nes)本文对应定义三个定量评价指标即项目熟价指标中的优良中差对应分值分别为432、、,,,,,以便=12⋯n、悉度项目资助度项目综合评价指标偏差定1)马(j)为第j个项目所有专家综合。。量计算与分析同行评议专家的评议结果评价指标的平均分平均综合评价指标偏差可以反本文200886日.于年月收到第6期:王国彪等国家自然
6、科学基金同行评议结果评价方法与专家遴选因素分析373,气J了.lwe*一映这m位专家与其他专家相比对项目综合评价指l
7、CDCD
8、,,,VFTrx100%(k=12⋯N),。lk一标的差异一定程度上反映评议结果的有效性CD,,,,maxVT*k=12⋯N}2008年度机械学科共遴选了1194位同行评议},,n*,,,,专家指派评议项目11405份按期返回11247份一mi1vT无=12⋯N}。,“”,评议结果其中对评议项目熟悉的有5993份(4)“”,“”,、较熟悉的有4462份不熟悉的有792份由式将不同影响因素(如同行评议专家的职称学(1)可得,平均熟悉
9、率()为53.3%,平均较熟悉率位、年龄等)对应的平均熟悉率波动值从小到大进行CD为39.7%,平均不熟悉率为7.0%;对评议项目给出排序,并分别赋予其1,2,3,⋯,该值即为影响因素“”,“”,,,优先资助的有1421份可资助的有3525份对平均熟悉率的敏感度该值越大说明影响越大在“”,,。不予资助的有6301份由式(2)可得平均优先遴选同行评议专家时就要重点考虑这个因素资助率(JT)为12.6%,平均可资助率为31.3%,平.,2同行评议专家的分布状况及其对评价指均不予资助率为560%;由式(3)可以计算平均评价值偏差(ET)为0.523。这些值可作为
10、评价某类同标的影响.,21行评议专家的标准指标如果某类同行评议专家
