关于软科学项目函评的公正性评价指标探析.pdf

《关于软科学项目函评的公正性评价指标探析.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、彭正新等：关于软科学项目函评的公正性评价指标探析评分标准对申报项目打分，评判多从实践性、效用性、直接将两个原始分数进行比较。创新性、可推广性、科学性、成果编写水平、重要性2．2评委的个人素质、人品的影响与迫切性等几个方面进行量化打分，并通过赋予不同遴选专业、敬业、职业的评委是保证评审工作公指标、不同权重以突出各指标的重要性及评审的导向正、合理的关键。管理成果函评结果很大程度上取决性。为尽可能减少不同评委对每项评审指标赋分松紧于专家的专业背景、知识结构和学术态度。专业背景程度把握上的差异，一般组织方还会对每一项指标细和知识结构为显性特征，可在评委选聘时加以控制；化分解成

2、一系列(一般3—5档)具体的等级并对每因此，学术态度成为影响评审结果公平性的主要决定一等级的赋分标准进行详细的描述和定义。因素。有时内部评委，因与申报成果的单位或人员不同程度的存在利益关系或个人感情，还会存在个别评2管理成果函评工作存在的主要问题委只评人员不评项目的现象。管理成果评审的差误还尽管在评审的组织和方法上，管理成果评审的组与评委的感情和行为差异有关。评委在对每项指标评织者都有一套较为完善的设计，但评审结果的公平公价打分时，潜意识里都会过滤掉与其理念相悖的信息，正性这一核心问题仍始终困扰着组织者，也成为最易评委的个性差异是产生评审差误的根本性因素。同时，诟病的

3、环节，因为，企业管理成果评审的公平性即评评委多年不在一线工作或担任了较多的行政及社会事审结果，往往体现某一项目成果自身价值和认可程度，务，对评审工作的投入时间和精力十分有限也成为影成果完成者都比较关注。影响函评公正性的因素除评响函评工作质量的重要因素。审方法、人员素质外，更根本的还在于评审机制。当2．3监督考核机制不健全前管理成果函评工作中存在着如下主要问题有。目前，各级各类管理成果评审组织机构对评委工2．1评价方法不尽完善作普遍缺乏相应的监督考核，更缺少一套对其工作质目前管理成果评审大都采用同行专家评议法，其量较为科学客观的量化评价指标，即对评委的“反评估”实质是评

4、委根据评价目的、项目特点等因素，在表征机制。评委均为兼职，基本都在“无压力”状态下评审。评价客体众多因素中选取一定数量的重要因素，然后因评审费按照人头发放且标准统一，“大锅饭”现象进行综合评定。一方面由于体现和反映一个项目价值在评审过程中也较为普遍，评审费用对评委既无明显的因素较多且各因素间难以完全独立，在逻辑上存在的激励，亦无有效的约束；如上所述评审结果在很大着不同程度相互交叉；另一方面因管理成果评价标准程度上取决于评委的责任心。个别参评项目有时甚至相对比较抽象，存在一定的灰色概念，对一些标准的通过与评委拉拢关系、走后门等方式获取较好的评审表述过于原则，不易实际操作

5、，且缺少一个有效的评结果，这些现象都严重影响了评审工作的公平公正性。价体系，使得评委对评审要素的理解存在误差，不利于集中和统一评委发散的关注点。评委对成果的评判3提高评审质量的措施往往很难用一个精确的数值加以客观衡量，不同评委3．1建立评审工作质量考核办法之间的评价结果差异较大；即使是同一项目，不同评对管理成果的评价本质上是一种对若干参评成果委的赋分可比性也相对较差。而评审结果往往以各评进行评价排序，选取最优、次优成果的过程；而序关委的原始赋分为依据，由于原始分数缺乏独立意义、系排列实质上就是一种消除与选择转换的算法，即先单项得分不等值、可比性差等缺陷，使得简单通过原

6、淘汰部分参评成果，或把全部参评成果排序，从而选始分数评判各参评成果难以得到科学的结论。如，甲、出最优成果。因此，评委的评审质量高低就体现在每乙两个评委对同一申报项目的打分分别为75分和90位评委对所评成果排序与其他评委排序或最终结果的分，而评委甲所有分数的平均分为70分，标准差为一致性方面，评审的公正性可通过评审契合率进行衡10；而评委乙所有分数的平均分为85分，标准差为5。量。将评委对各项目的打分情况与实际获奖项目的契因此评委甲的分数较评委乙更“值钱”，不能简单地合程度进行比较，对契合度低于一定比例的评委，可2016年第1期·石油科技论坛19蹴■—_■I考虑取消或暂

7、停今后类似评审项目的评审资格，确保反的个数，它直接反映某一评委对所评成果意见与最评审结果客观公正[I-21。终结果的一致性。如，12345数组的逆序数为0，而契合率可通过有效比、偏差度、逆序数及等级相34215的逆序数为5。若某评委的评审结果排序与最终关系数4个指标加以反映，具体计算公式如下。结果完全一致，则I为0；，的数值越小说明该评委越有效比(E)：某一评委在某次评审中所打分数中公正。有效分数的比重，即：等级相关系数()：是用以描述两组变量之间的E=No／Ⅳt(1)关联程度与方向的指标。如果、y分别为两个评委对一式中——该评委剔除掉无效得分后有效