科技成果评价的信度分析及模型优化

《科技成果评价的信度分析及模型优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、科技管理ScienceandTechnologyManagementDOI:10.3969/j.issn.1003-1154.2016.06.027科技成果评价的信度分析及模型优化□张立军彭浩(湖南大学金融与统计学院,湖南长沙410006)[摘要]针对科技成果评价中多方法评价结论的非一致性及评审专家的可靠性问题,运用信度分析方法对科技成果评价模型及评审专家的可靠性进行信度分析,并在信度分析结果的基础上,构造基于复合权重的科技成果优化评价模型。研究结论表明,不同的评价模型以及不同的评审专家在科技成果评价中均存在可靠性差异,优化的科技

2、成果评价模型能够有效提高科技成果评价结果的准确性。[关键词]科技成果评价;信度分析;优化;科学管理[中图分类号]G311[文献标识码]A[文章编号]1003-1154(2016)06-0092-03评审专家的可靠性进行测度,并在此基础上构建基于一、引言及文献综述复合权重的科技成果优化评价模型,从而使得评审结果更加准确与合理。科技成果评价是通过构建指标体系与评价模型,计算综合得分,对被评价对象进行优劣判断或等级排二、科技成果评价的信度分析序的过程。然而,在科技管理的实践中,科技成果评价结果往往出现不同程度的失真现象,给相应的管理(一

3、)信度分析原理决策工作造成了不利影响。影响科技成果评价结果信度分析是对测量结果的一致性进行估计的一准确性的主要因素有两个方面:其一,专家评分的可种方法。在经典的测量理论中,信度就是真分数的方差与实际分数的方差的比率[4]。以评价模型的信度靠性;其二,评价模型的科学性。在科技成果评价中分析为例,假设有n个评价对象,评价模型有m种。如何衡量评审专家的可靠程度与评价模型的科学性,第i个评价对象在第j种评价模型下的得分记为Xij,优化科技科技成果评价模型?这一直是科技评价研第i个评价对象的真实得分记为Ti,第i个评价对象在究领域的难点。本

4、文从评审专家与评价模型信度分第j种综合评价模型评价下的误差记为εij。其中i=1,析的角度,探求优化科技成果评价的途径和方法。2,…,n;j=1,2,…,m。由信度理论,有评价对象的得在评价模型的比较及优化方面,国内众多学者针分Xij与其真实得分Ti之差等于误差项εij,也即有:对多方法评价结论的不一致,以及评价模型的优劣性Xij=Ti+εij(1)问题进行了多方位的研究。例如:孙世岩等[1]认为各式(1)中存在两个基本假设条件。假设条件1:真种多属性决策方法存在鲁棒性差异,提出了一种鲁棒实得分Ti与误差项εij是相互独立的;假设

5、条件2:不性评价的仿真方法;郭亚军等[2]提出了综合评价模型同评价模型下的误差项也是相互独立的,即εik和εil是相对有效性的概念,同时提出了对各种组合评价模型相互独立的。进行有效性测度的方法;韩轶和唐小我[3]针对优化多由假设条件1,对于同一综合评价模型有:属性综合评价模型,考虑假设评价对象的指标值在服σ2=σ22(2)XT+σεjj从某一分布的前提下,存在一种最“优”的评价模型,2为评价模型下综合得分的方差,σ2为式(2)中,σXTj并就其最优评价模型进行了讨论。这些学者的研究真实得分的方差,σ2为误差项的方差。εj成果为判断

6、科技成果评价模型的优劣这一问题提供定义信度系数rj为:2了丰富的理论基础。σ2σεTj(3)rj=2=1-2本文运用信度分析方法对科技成果评价模型及σXjσXj[基金项目]国家社会科学基金项目(14BTJ003)。92管理现代化ScienceandTechnologyManagement科技管理2是无法计度系数结果,见表1。在单个综合评价模型的评价结果中σεj算的,进而r也无法计算得出。表1不同综合评价模型下的信度系数及排名j再由假设条件2,在两种综合评价模型的评价中评价模型信度系数排名22是可以计算的,从而在多个综合评价模型下σ

7、ε1+σε2综合指数法0.99851熵值法0.870432可计算出来。考虑有m种综合评价模型对评价对∑σεj灰色关联度法0.82394象进行评价,可以定义单个评价模型的信度系数r为:理想解法0.95262模糊综合评价0.786952/m2∑σεj∑σεj(4)r=1-=1-计算结果表明,各种综合评价模型的信度存在差2/m2∑σXj∑σXj异,在以上5种综合评价模型中,信度由高到低依次由于评价对象的真实得分及其方差是无法直接是:综合指数法>理想解法>熵值法>灰色关联度测量得到的,所以只能对信度进行估计。简单来说,法>模糊综合评价法。

8、选择信度相对较高的评价模就是以式(4)为基础,用误差项的方差对信度系数进型,能够有效提高评价结果的准确性。行估计。(三)科技成果评审专家的信度分析依据式(4),有单个综合评价模型的信度系数r仍以前文国家科学技术进步奖的评审数据为例,的计算公式[5]