资源描述：
《科技成果奖励评价指标体系和方法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
湖南大学硕士学位论文科技成果奖励评价指标体系及方法研究姓名：郝国杰申请学位级别：硕士专业：统计学指导教师：王瑛20091101 顶Ij学他论史摘要随着科技的不断进步，科学技术在生产力中占的比重越来越大。基础的科研评价已经成为了一个全社会所共同关注的话题。因此对于如何更加合理、客观、公正的对科研成果进行评价，对于国家的经济发展，社会的和谐进步，有着重要的意义。首先，通过对国内外科技成果奖励评价指标体系和评价方法进行综述；在此基础上，从系统分析出发，依据社会学和统计学构建指标体系的理论与方法，结合国家科技奖励政策精神、奖励目的和要求，对现有科技奖励评价指标体系作出改进，建立了多层次和多级别的评价指标体系。并在专家评分方面，统一评分分值，保证了各指标分值在乘以各加权系数计算后分值的统一。使评价指标更为明确，客观，确保指标更为合理化。其次，采用结构方程模型的方法对科技成果奖励评价的指标进行客观赋权(隐变量通过一个或多个显变量进行测量，根据可观测的显变量，借助AMOS软件可计算出隐变量之间相互关系的路径系数)，计算出路径系数；并采用德尔菲主观赋权法，对指标权数进行合理的调整，实现对各指标的主、客观相结合的赋权。从而达到了既考虑到专家的意见，又不完全依靠专家意见进行评审的目的，减少了由专家决策所带来的人为因素的影响。最后，根掘EXCEL模拟的25个专家对24个评审项目的打分、各指标间的权数、运用线性加权法，计算出24个评审项目的总得分排序。实证分析表明，本文所用德尔菲与结构方程模型相结合的赋权方法以及线性加权评价方法具有较强的可操作性和实用性。关键词：科技奖励；综合评价；指标体系；结构方程模型II 科}上成果奖呖评价指标体系及方法研究AbstractAstechnologyadvancesinscienceandtechnologyintheproductiveforces，increasingtheproportionaccountedfor．Basicscientificresearchevaluationofthewholesocietyhasbecomeatopicofcommonconcern．Therefore，howtobemorereasonable，objectiveandimpartialevaluationofscientificresearchforthecountry’Seconomicdevelopment，socialharmonyandprogress，hasanimportantsignificance．First，therightdomesticandforeignscientificandtechnologicalachievementsthroughtheawardevaluationindexsystemandevaluationmethodswerereviewed；Onthisbasis，startingfromsystemanalysis，basedonsociologicalandstatisticalindicatorsystemtobuild．thetheoryandmethods，Withthespiritofnationalscienceandtechnologyincentives，rewardsthepurposeandrequirementsofexistingscientificandtechnologicalevaluationindexsystemofincentivestomakeimprovements，establishedamulti-levelandmulti-levelevaluationindexsystem．Andtheexpertrating，thecommongradingscores，ensuringeachindexscoreismultipliedbytheweightingfactorinthecalculatedscoresunity．Evaluationindextomakemoreexplicit，objective，andtoensurethatindicatorsandrationalizing．Secondly,theuseofstructuralequationmodelapproachtotheevaluationofscientificandtechnologicalachievementsrewardobjectiveindicatorsofempowerment．Calculatethepathcoefficient；andusingtheDelphisubjectiveweightmethod，theweightsofindicatorsreasonableadjustmentstoachievethevarioustargetsofthesubjectiveandobjectivecombinationofempowerment．WerebothtakenintoaccountSOastoachievetheopinionsofexpertsanddoesnotrelyentirelyonexpertadviceonthepurposeoftheassessment，reducingthedecision—makingbroughtaboutbytheexperts，humanfactors．Finally,undertheEXCELsimulationof25expertstoreviewtheprojectscoring24，theindexbetweentheweights，usinglinear—weightedmethodtocalculatethe24assessmentitemstotalscoresort．EmpiricalanalysisshowsthatDelphiusedinthisarticlecombinedwithstructuralequationmodelingmethods，aswellasenablingalinearweightedevaluationmethodhasastrongoperationalandpractical．KeyWords：ScienceandTechnologyEncouragement；ComprehensiveEvaluation；StructuralEquationModel；IndexsystemIII 插图索引图4．1结构方程建模流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21图4．2结构方程模型指标体系图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．23图4．3结构方程模型标准化估计系数图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25VI 科亍上成果奖恸计价指标休系及方法fiJf究附表索引表3．1国家自然科学奖励评价指标说明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．15表3．2自然科学奖励评价指标⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯16表3．3Likert的三点等级评分表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯17表4．1结构方程模型指标体系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯23表4．2初始结构方程模型拟合系数表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25表4．3修一结构方程模犁拟合系数表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25表4．4一级指标路径系数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．26表4．5一级指标相对权重⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯26表4．6调整后的相对权重⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯26表5．1专家评分项目得分⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．27表5．2项目排名⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯28VII 硕f‘学化论文第1章绪论1．1选题背景及意义科学技术奖励是实施国家人才和创新战略的重要组成部分。科技奖励政策的贯彻落实，对于弘扬中华民族的创新精神，营造崇尚民族的创新文化氛围，加速科教兴国的战略步伐，将起着至关重要的作用。当前，科技工作者正以极大的热情投身于社会主义小康社会的建设之中。为落实党和国家尊重劳动、尊重知识、尊重人才尊重创造重大方针中的具体内容，在“国家科学技术奖励条例"(简称“条例”)的精神指导下，开展各项奖励活动，公平、公正评价和奖励各种创造性的科研成果，激励和调动投身于科学探索和生产实践的献身信念，充分体现党和国家尊崇科技创新、尊重创造性劳动政策，最大范围地激发知识、技术相结合涌流迸发，这都是新时期科技奖励工作融合于科技战略部署，催生科学技术成果在市场经济中的活力的根本保证。科技奖励同样也是我国科技工作的一个重要组成部分，它对于发挥国家科技政策的导向功能，促进科技工作与经济发展相结合，以及促进科学家的个人成长等各方面都具有重要作用。经济与社会的发展要求科技奖励工作必须与时俱进，因此，关于科技奖励的研究就显得特别重要。一方面，科技奖励工作本身涉及的范围比较广，对科技奖励的内在规律等许多理论问题需要深入研究；另一方面，随着我国科技奖励制度的逐步完善，科技奖励工作也面临着新的形势，并出现了一些问题，客观上迫切要求用理论来指导科技奖励的实践活动。正是在这种背景下，我国科技奖励的研究才逐渐发展起来。1．2我国现行科技奖励评价指标体系综述科技成果奖励评价是科研管理工作的一项重要内容，有许多科技管理工作者和许多科技成果授权评审机构对此做过深入的探索，并提出了许多利用数理统计、模糊数学、层次分析法等现代工程数学和系统工程方法建立的评估数学模型。从目前各部、委、国家成果评审机构的评审工作实践来看，所用的评价指标多为一级评价指标，而且其指标多数是直接采用科技成果奖励办法所提出的较为笼统、模糊的概念作为指标，有些指标难于理解其实际的含义，使评审者无法从成果所表达的实际水平进行评价，而只能根据直觉进行直观判断。比如：国家科技进步奖的评价指标包括：l、技术创新程度或系统管理程度；2、难易程度或复杂程度；3、主要技术经济指标先进程度；4、总体技术水平；5、己获经济效益； 科技成果奖励评价指标休系及方法研究6、社会效益；7、发展前景及潜在效益；8、转化、应用、推广程度；9、对产业结构优化升级或实现技术跨越作用。上述的九个指标大多是国家科技奖励条例的评审标准，所叙述的指标概念非常含糊，都属定性指标，诸如“系统管理程度，主要技术经济指标先进程度，对产业结构优化升级或实现技术跨越作用"等指标，评审专家难以把握指标的内涵，难于用指标对成果的实际水平进行衡量，难于作出准确判断。国内省级成果评审工作，都有自己的评审标准，有的也建立了系统的评价指标体系，如：山东省的成果评审制定了二级指标体系，一级指标有三个：技术难度、经济效益和社会效益，细化的二级指标后有6个指标：技术先进程度、技术创新程度、难易复杂程度、应用推广程度、经济效益和社会效益。又如湖南省所采用的五个二级评价指标是：学术水平、社会经济效益、技术难度、学术意义、适用范围。纵观全国的成果评审工作，认为我国的成果评审工作己规范化、制度化，所存在的问题就是成果评审指标不统一，不完善，有待进一步深入研究，使其避免和消除评价指标体系上的不足与缺陷，以便进一步客观地进行成果的评价，做好科技奖励工作。1．3国内外科技奖励评价方法综述在科技成果奖励评价过程中，同行评议(peerreview)是长期以来各国最基本、最常用的一种基础研究质量的评估方法，其本质上属于科学自身的内部质量控制机制。而近年来兴起的科学计量学(包括文献计量学、专利分析等)则更适合于对基础研究的外部定量评价。概括起来，当前从定性、定量以及定性与定量结合的角度提出了对基础研究评估与测度的一些理论、方法，大体可以归结为：主观分析和经验方法、经济学方法、数学方法、综合评价法。总的来说，由于对于基础研究和经济问的复杂关系和作用机制尚缺乏清晰的理解，对其社会经济效益的评估，目前尚没有公认的比较完善的评估方法和手段。根据评估对象的不同，科技评估大致可分为：科技政策评估、科技计划评估、科技项目评估、科技机构评估、科技人员评估。各国的科技评估根据评估的对象不同，不一定涉及全部，可能涉及其中几个方面。各国在进行项目评估的时机方面，由于要求不同，侧重点也有所不同。美国、法国、日本、英国等国都进行事前、事中和事后的连续评估；加拿大侧重对项目的后评估和计划项目的中期评估；瑞典比较重视计划的事中评估。在现实世界中，方案评价是一个相当常见的问题。但由于现实问题的复杂性，单个人常常无法仅仅凭借自己的知识和能力来很好地完成对方案的评价，因此产生了群体决策，即由一个群体来完成方案的评价问题。群体决策相对于个体决策有着很多的优势，决策结果(对方案的评价结果)往往更准确客观。2 碰!lj学位论文科技评估的主要方法有：同行评议法、特尔斐法、文献计量法、层次分析法、案例研究与回溯法、特尔斐法层级程序法等。1．3．1同行评议法同行评议是进行科学研究评估应用最广泛和可信度较高的方法。但受自己利益，特别是朋友关系和偏见的影响，从而影响了评议的公正性，也不利于创新成果的评价。在同行评议的操作过程中在选择专家时，将范围局限在那些各分支领域中具有专门知识的人身上。这样做，只回答了该项工作是否做得好的问题，却没有回答是否应该做的问题。由于在科学界内，权威的影响力是重大的；所以同行评议，专家即使持有认真公正的态度，也会高估权威们做出的成果的科学价值，而忽视甚至扼杀新生力量。这是“马太效应”在科学评价系统中的具体表现，也是同行评议方法难以避免的。由于同行评议专家所从事的研究领域及精力总是有限的，因此同行评议法在对宏观的管理进行评估时也会显得力不从心⋯。1．3．2特尔斐法50年代术，美国兰德公司提出此方法。特尔斐法是通过征求一群人(通常是有关问题的专家，一般为20～50人)对复杂决策问题的意见，并据此做出判断。特尔斐法的优点为：匿名进行。专家们没有心理压力，可畅所欲言。通过定量分析，为决策者提供的多种预测方案均能给以明确的概率答案。特尔斐法对预测时间没有严格规定，在实践中一般不短于5年，不超过50年。应用条件：首先是咨询主题应明确，使熟悉该专题的专家能清晰地理解问题的性质、内容和范围。其次是要找到一批经验丰富而又熟悉该专题的专家，特别是这些专家中具有代表性的人物。．特点：特尔斐法有专家匿名表示意见、多次反馈和统计汇总等特点。①匿名：专家单独表态，填写的调查表也不记名，以免受权威意见影响而改变自己的意见。②多次反馈：经过一轮特尔斐活动后，把原始资料或专家意见汇总成图表反馈给参加咨询的专家，在一定期限内回收，再进行汇总分析，然后转入第三轮活动。多次反复可为专家提供了解舆论和修改意见的机会。③采用统计方法进行汇总，以期作出符合客观情况发展的结论。操作步骤：采用特尔斐法预测一般采取下列步骤：0明确待咨询的任务。②汇集背景材料。③设计咨询调查表。④初步选定咨询专家名单。⑤初次联系，向专家发出邀请信和履历表。⑥确定专家名单。⑦发出第一轮咨询表和说明性资料。⑧统计处理。表格回收后，进行统计分析，处理方法可选用人数比重法、峰值法、均值法 科技成果奖砌评价指标休系及方法研究或四分位法。⑨修改咨询表，转入下一轮活动。⑩专题联系，根据不同情况，深入征求意见。确定咨询结果。一般通过2～3轮活动就能结束，利用计算机通信取代书面通信，可以加快咨询过程。特尔斐法是一种较常用的预测方法。但它的周期较长。当某一意见分散程度较大时，多次咨询，易造成有些专家草率从事。它能对大量非技术性的、无法定量分析的因素作出概率估算。但由于专家评价的最后结果是建立在统计分布的基础上，所以具有一定的不稳定性。不同专家总体，其直观评价意见和协调情况不可能完全一样，这是特尔斐法的主要不足之处【21。1．3．3文献计量法文献计量法广泛应用于科学研究活动的定量评价。它考查科技论文(专著)的数量与分布、科技论文的引证、引用率、注意的是，并非所有的引证都同等重要。平均被引次数、文献的半衰期等。需要许多引证是引用常规方法、统计设计、技术修改或标准数据。有些引文则是用来提醒防止错误的。最重要的引证是承认相关的工作或暗示可能的扩展和应用。这样，一篇论文受到多次引用并不是其自身科学质量的充分证据【3】。1．3．4层次分析法(AHP)20世纪70年代，层次分析法(AHP)由美国科学家萨蒂教授提出。这种方法能把决策过程中定性与定量因素有机地结合在一起，用一种统一的方式进行处理。它既能保证模型的系统性和合理性，又能使决策管理专家充分运用其有价值的经验与判断能力。它是将决策者的思维过程实现数量化，从而解决多目标、多层次、多准则决策问题的方法。这种方法把复杂的问题分解为各个组成因素，将这些因素按支配关系分组形成有序的递阶层次结构，通过两两比较的方式确定层次中诸因素的相对重要性，然后综合人的判断以决定决策诸因素相对重要性总的顺序。其优点是提供了层次分析思维框架，便于整理思路，做到结构严谨，思路清晰；通过对比进行标度，增加了判断的客观性；把定性判断与定量推断相结合，增强了科学性和实用型。充分利用人的经验与判断，其核心功能是对方案进行排序选优。建立层级结构经过将复杂问题分解(Decomposing)后，需再予以结合(Aggregating)，以形成层级结构。建立层级结构的目的在于帮助决策者了解问题系统，以便研究层级中各因素的交互影响关系，评估各因素对整个系统的影响力。AHP层级的多寡取决于问题的复杂策划能够读及分析的需要，一般可分为三或四层。建立重要性矩阵有了层次结构，就可以进行定量评价。这里对结构中各个层次及其构成元素，4 修!Ij’≯位论义可根据其中重要性给出优先数。它的具体做法是：(1)对每一层的元素，以上一层的一个元素作为标准，进行两两比较决定其重要性，对比较结果进行评分，由此可得出评分矩阵。这样，上一层有多少各元素就可得多少个矩阵。(2)评分采用9分制。高分表示其重要，低分表示较次要。(3)优先数结构由一系列矩阵表示，并且这些矩阵是倒数矩阵。计算优先数向量和优先数矩阵在得出一个层次的各元素的优先数矩阵以后，再计算它们的优先数向量。(1)先求各优先数向量。一种方法是求特征向量E：P=九。。E式中P一优先数矩阵；五职似一最大特征根；E一对应于五一的规格化的对上一层元素i的单项优先数向量；E7=e?，e；，P；，．．∥：)再用Ei构成新的优先数矩阵k，E^=(e?)，(f_1,2，3，．．．，n；j=1,2，3，．．．，m)式中h一层号；n—h层的元素数；m—h．1层的元素数。(2)再一次求本层各元素对上一层整层的优先数向量VV=(K，％，％，⋯，圪)形=∑口，P：户1(i=l，2，．．．，n)一致性检查由于建立优先数矩阵过程中，是两两比较得出的，因此，就有自订后给定的优先数是否一致的问题，即检查以下关系：A}k=A∥Ajk是否成立。若有差异，还要检查差异的大小。在理想情况下，优先数矩阵的特征根是n，n是矩阵的行数。因此，可用最大特征根五一与n的差异大小来表征不一致性。一致性指数：c．1．：兰堂[竺若用随机生成优先数矩阵的方法来模拟最不一致的情况，这时的e，．值称为R～1，如 科技成果奖励评价指标体系及方法研究通常要求一致性比值有对整层结构的一致性要求是：C．R．：盟<0．10Rj．C．R．一1∑口，(c“垄!∑口。(姒)；整个结构的优先数和向量经过以上步骤，然后算出最后一层相对最高一层的优先数向量V。即从最终目标看，各个方案、对象的优劣次序为：V=E^，Eh—I，Eh一2，⋯，E，V其中E为第i层的优先数矩阵，但其列向量是由单项优先数向量组成。通常最高一层V=l。层次分析法的数学基本思想是：把决策问题按总目标、子目标、评价标准直至具体方案的顺序分解为不同层次的结构，然后利用求判断矩阵的特征向量的方法，求得每一层次的各元素对上层次某元素的权重，最后再用加权和的方法递阶归并，以求出各方案对总目标的权数(亦称为合意度)，此权数最大者对应的方案即为最优方案。其缺点在于，得出的结果是粗略的方案排序；人的主观判断、选择对其分析结果影响较大，使其进行决策的主观成分很大。但实际上不论是哪一种评价方法，总有一定程度的主观判断。结构性越强的方法，主观性影响也就越弱。反之，就越强。在AHP方法中也不例外，方法的关键有二个：一是如何正确地选分层次和因素；二是判断两两问的优先数或重要性，同时必须要求有较好的一致性。实际上一个决策问题，它的层次和因素总是有限的，划分过粗也难以判定正确，当然划分过细也不利于分析，通常对10个左右至10个因素保证其两两相关值有较高的一致性还是完全可以做到的【41。1．3．5案例研究与回溯法案例研究是对导致关键事件发生的社会因素和科学内部发展规律做出历史性解释的方法。主要说明促成事件发生的各个因素(如：体制、人员组织结构、技术条件等)，事件发生的过程中的重要性和对以后的影响【51。回溯分析是对某一特殊事件将时间回溯推移，寻找某几个事件之间的客观联系的方法。通常是为了展示资助机构在事件发展中的作用，或证实某一事件在另外一些事件的发生发展过程中的作用。6 硕fj学位沦文案例研究与回溯主要应用于对科学学和科学社会学的研究和评价科学研究中重要事件。尽管案例研究和回溯法能够就某～问题或事件作彻底分析，但其成本太高，且需要很长时间的调查和分析。另外，案例研究和回溯分析都是针对某一特定历史条件下的特定事件，分析的结论不具备普遍性。1．4现有研究简评通过对科技奖励研究现状的分析，可以发现：国内外学者分别从科技奖励制度、科技奖励评价原则、指标体系、评价方法、对专家的反评估分析进行了大量研究，并取得了一定的成果，但也存在着一定的不足：(1)研究过于注重理论方面。科技奖励学特别是符合我国国情的科技奖励学还处于发展阶段，且研究较少注重理论与实践的融合。(2)评价方法过于单一。科技奖励评价方法研究出现断层，直到2007年才有学者重新对其进行研究，造成研究论文较少，采用的评价方法较为单一。(3)所涉及的研究只是根据现有的科技奖励指标体系，未对指标体系以及评判标准进行更为合理的改进。1．5本文的研究框架及内容1．5．1研究的基本思路与方法本文以统计学方法为基础，利用AMOS，SPSS，EXCEL等统计分析软件，综合运用指标构建理论，结构方程模型方法等，从系统分析出发，按照科技成果奖励流程，首先对原科技成果奖励评价指标体系进行分析；为了使评价结果更加客观、公平、准确，根据指标体系建立原则和方法，并结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系对科技成果奖励指标体系进行改进。然后，对新的指标体系的指标赋权方法进行研究，与以往指标复权方法相比较，探讨一种能综合反映指标相对重要性的权重。最后得出最终评审结果。其中通过实证分析，验证本文方法的可行性。1．5．2研究内容安排基于国内外相关专家学者己有的研究成果，本文利用SPSS、Amos等统计分析软件，综合运用统计学方法，构建科技成果奖励评价方法体系。全文分为5章，各章的研究内容安排如下：第一部分：绪论。本章主要论述科技成果奖励评价方法的研究背景及意义，并从科技成果奖励评价指标体系研究以及评价方法两个角度探讨了国内外科技奖励研究的主要成果，分析出目前研究的不足。最后为本文的主要研究思路和方法，提出论文的研究框架。 科技成果奖励评价指标体系及方法研究第二部分：科技奖励评价指标体系构建基础。本章主要介绍科技奖励评价指标体系类型，指标体系的构建原则以及方法。并重点介绍了国家三大科学技术奖励及其特点。第三部分：科技奖励评价指标体系现状及改进。本章主要依据社会学和统计学构建指标体系的理论与方法及我国的法律法规，结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系，经过反复研究，提出了建构我国科技奖励评价指标体系的基本原则。同时根据这些原则，建构出我国科技奖励的评价指标体系：一级评价指标体系是一般的指标体系，包括学术水平、社会／经济效益、技术难度、学术意义和适用范围；二级指标体系是一级指标体系的具体化、扩展和延伸，由此形成一个多层次和多级别的指标体系。第四部分：科技成果奖励赋权方法研究。以结构方程模型与德尔菲相结合的赋权方法为理论基础，通过第三部分构建的科技成果奖励指标体系，找出显变量与隐变量之间的关系，外生隐变量与内生隐变量之间的关系，从而获得各变量对内生隐变量的直接影响和间接影响。然后利用Amos软件计算路径系数，确定指标权重。即从指标的功能性角度出发来确定指标权重，从而更能够从本质上说明各变量的相对重要程度。第五部分：基于线性加权法的科技奖励评价实证研究。根据线性加权方法加以实证分析，充分验证本文提出的“科技奖励综合评价模型”的可操作性和实用性。 硕lj学化论文第2章科技奖励评价指标体系构建基础如果将科技奖励评价指标定义为，反映、检验、证明和预测科技成果优秀程度以使真正优秀的科技成果获得奖励的指数，那么科技奖励评价指标体系，是指为综合反映、检验、证明和预测科技成果优秀程度而设计的一组具有内在联系的、形成有机统一整体的指标【6】。科技奖励评价指标体系亦是评审专家对评审客体评定、审核的准绳，其科学性、合理性、可操作性如何，直接影响到奖励的权威性和普遍性原则。因此，制定一套合理的、可操作性的科技奖励评审指标体系，对保证科技奖励的公J下和科技奖励制度的顺利运行至关重要。2．1科技奖励评价指标体系类型科技奖励评价指标体系可分为三种类型：计算型、评分型和混合型【_71。计算型是指：指标体系中每一个指标均能准确地进行赋值量化，或能通过公式计算出其“转换值”这种类型的指标体系能较好地排除奖励评审主体的主观干扰，比较公平、准确，但操作较困难。评分型是指：指标体系中每一个指标的数值均由专家根据评审客体某方面特征的程度给出评分来确定。这种指标体系简明、易于操作，但易受评审专家的主观干扰。混合型是前两种类型的混合，其中一部分指标根据专家评分确定，另一部分指标则通过统计测算或公式计算或专家定性评估确定。这种指标体系吸收了前两种指标体系的优点，但统计处理较繁。2．2科技奖励评价指标体系构建原则一般地说，进行科技成果的评审、鉴定等成果的评价工作，首先要建立相应的评价指标体系。由于科技成果的内涵和所涉及的研究领域不同于其他领域的研究成果，其评价指标的设立、各指标所赋予的权重以及评价模型都有自身的特点。总的来说在设立评价指标时，应遵循以下原则【8】：2．2．1科学性原则科技成果评价是激励科技工作者积极性、创造性、鼓励先进鞭策后进的手段，是推动科技进步的有效措施。因此，科技成果评价指标体系必须具有科学性。要在调查研究和科学分析、总结现有科技成果评价指标体系，发现其不足和缺陷的基础上，根据科技成果的内涵和特点，设置更为科学的成果评价指标体系，使之9 科技成果奖励评价指标体系及方法研究从定量的角度对科学技术成果有一个科学的分析评价标准。2．2．2客观性原则在科学性基础上，对指标的选择、确定、解释内涵、外延都要从科技成果的实际情况出发，参照国内外对科技成果的评价指标，提出具有客观性的评价指标体系。2．2．3相关性原则评价成果的指标、指标的结构及构成之间存在着不同层次的依存、渗透、制约的关系。因此，要求通过指标体系能反映出来，而且各指标之间通过定量、定性、定性量化等儿种方法进行处理，形成可联系、可比较、有机结合的整体。2．2．4系统性原则成果的评价指标体系是一个比较复杂的系统，受国内外研究条件、经济条件、自然条件等多因素的影响，涉及人与人，人与自然，人与社会的复杂关系。同时不同的具体的科技成果又呈现出不同的特点，这种复杂性和综合性要求必须用系统的观点，把评价对象看作有机的整体，建立一套相互联系，有机结合的评价指标体系，进行系统评价。2．2．5特殊性原则探讨评价指标应立足于“创新”与“适用”的原则，根据医学科技成果的特点，建立相应的指标体系，构建一个基本框架，已有的评价指标可以适当修改，变换加以应用。使评价指标体系进一步完善。2．2．6可测性原则在评价指标体系中的未级指标(本项目的三级指标)具有可测性。即未级指标应易于理解，便于掌握，评审专家通过未级评审指标能较容易地对成果作出评判，给出评价结果。2．2．7简捷性原则评价指标在保证系统性和完整性的前提下，要尽可能地简捷，尽可能地减少指标数量，要避免繁杂，这样才能使评审专家易于抓住关键、突出重点，刁能减少工作量，缩短评审时间。2．3科技奖励评价指标体系构建方法建立指标体系的基本思路可从如下七个方面加以思考：1．收集已有的相关类型的指标体系作参考。利用现有的经验、参考前人的做10 硕lj’产化论文法是进行科学研究的一种重要途径。善于学习、善于思考-／j。能有所提高、有所创新。在建立科技成果评价指标时，首先尽量地收集目前己有的成果评价方面的指标体索和评判方注，然后对其讲行分析研究、去粗取精，作为第一手参考资料。2．根据国家新的科技奖励条例的精神制定指标体系。根据国家新的奖励精神，制订评价指标体系，力图使所建立的指标体系包含奖励政策的要求，把新的奖励精神贯彻在其中，通过评价指标体系来实现。3．确定一级指标。根据评价目的和要求，首先确定成果评价的一级评价指标名称和数量。一级指标要能全面、完整地反映国家、军队科技奖励的政策要求，同时还要考虑上述建立考评指标体系的原则，以及医学科技成果特点。4．列出所有可以设想的指标。按照前面确定的一级指标逐项、逐层次罗列出每一层可以设置的指标。罗列一级指标主要根据成果的评价要求和自己的经验，并参考收集到的有关的评价指标体系进行。5．对列出的指标进行定性分析。定性分析根据科技成果的评价要求进行，根据经验和评价目的对所列指标进行取舍，看所列指标是否能全面反映科技成果的水平，是否符合上述建立指标体系的原则要求。若是，则可以初步确定评价指标体系：若不是，则还需要增加或减少指标，或者修改指标名称或内涵。在初步列出的指标中，一般都存在着相互重复、相互包含的指标，还可能存在对于成果评价作用不大的指标。根据简捷性，为了减少工作量，在不失全面性和客观性的原则下，可以对指标进行删除和合并。处理方法是：(1)删除影响甚微的指标这所列指标中，有些指标对于成果一的评价作用很少，或不容易掌握和理解其内涵，删去又不会对整个评价指标体系造成大的影响，经分析确认后，可以从指标体系中删除。．(2)合并同类指标在所列指标中，存在着一些反映内容相重叠的指标，则可以将这些指标合并为一个或少数几个指标。6．确定每一个基础指标的评价标准。按照系统评价的要求，评价标准应该与指标体系同步确定。在构建指标体系的过程中，同时包括了对评价指标的构思过程，每一个指标的提出，就必须设想其评价标准。在指标体系初步确定后，即根据成果评价的要求，逐个确定指标评价标准。7．提请专家咨询确定评价指标体系。评价指标体系初步确定后，即拟定邀请与成果评价有关的专家、学者进行咨询。所邀请的专家包括二大类：一类是国家奖的成果评审专家；一类是从事科技管理工作的管理专家。 科技成果奖励评价指标体系及方法研究2．4国家科学技术奖励类型简介国家科学技术奖励分为三种：国家自然科学奖、国家发明奖和国家科学技术进步奖。而这三种奖励内容在授件奖条件、候选人条件、奖励等级等方面又各有其不同的侧重点。2．4．1国家自然科学奖授予在数学、物理学、化学、天文学、地球科学、生命科学等基础研究和信息、材料、工程技术等领域的应用基础研究中，阐明自然现象、特征和规律、做出重大科学发现的中国公民。国家自然科学奖不授予组织。授奖条件：(1)前人尚未发现或者尚未阐明；(2)具有重大科学价值；(3)得到国内外自然科学界公认。候选人条件：国家自然科学奖的候选人应当是每项重大科学发现的主要论文或者专著的主要作者，并具备下列条件之一：(1)提出总体学术思想、研究方案；(2)发现重要科学现象、特性和规律，并阐明科学理论和学说；(3)提出研究方法和手段，解决关键性学术疑难问题或者实验技术难点，以及对重要基础数据进行系统收集和综合分析。奖励等级：国家自然科学奖授奖等级根据候选人所做出的科学发现，从发现程度、难易复杂程度、理论学说上的创见性、研究方法手段的创新程度、学术水平、对学科发展的促进作用、对经济建设和社会发展的影响、论文被他人J下面引用的情况、国内外学术界的评价和主要论文发表刊物的影响等方面进行综合评定。基本评定标准如下：(1)在科学上取得突破性进展，学术上为国际领先，并为学术界所公认和广泛引用，推动了本学科或者相关学科的发展，或者对经济建设、社会发展有重大影响的，可以评为一等奖。(2)在科学上取得重要进展，学术上为国际先进水平，并为学术界所公认和引用，推动了本学科或者其分支学科的发展，或者对经济建设、社会发展有较大影响的，可以评为二等奖。2．4．2国家技术发明奖授予运用科学技术知识做出产品、工艺、材料及其系统等重大技术发明的中国公民。国家技术发明奖不授予组织。技术发明是指利用自然规律首创并成功地用于改造客观世界的技术新成果。它一般是与生产有关的新技术，如在国民经济某一技术领域中提供了新的、先进的、效益好的新技术。以上所称产品包括各种仪器、设备、器械、工具零部件及生物新品种等；工艺包括各领域的各种技术方法；材料包括用各种技术方法获得的新原料；系统是指产品、工艺和材料的技术综合。科学发现、科学理论不属于国家技术发明奖的奖励范围，但是，将科学发现成果应用于生产、生活等实践， 硕Ij学位论文将新的发现体现在工艺、产品中，也可以推荐为技术发明奖。如新发现的一种化学物质，虽为客观存在，但如果将其开发为一种新药品或转化为一项技术发明，则符合技术发明奖的奖励范围。仅依赖个人经验和技能、技巧，而别人又不能根据所提供的方案将其重现的技术，不属于技术发明奖的奖励范围，如各种个人拥有的特技。授奖条件：(1)前人尚未发明或者尚未公开；(2)具有先进性和创造性；(3)经实施，创造显著经济效益或者社会效益。推荐国家技术发明奖时，一般应出具获得发明专利的证明，如果没有获得发明专利，应当通过国家科技奖励工作办公室(以下统称”国家奖励办”)认定的科技信息部门进行文献检索和查新，以确认一项技术是否符合前人尚未发明或尚未公开的条件，文献应该检索到该技术的公开时间。界定或者确定”公开”时间的形式具有多样性，除技术鉴定外，还有专利申请、产品鉴定、产品或者技术公开销售使用、主要技术内容公开发表等。如果一项技术同时存在着上述几种公开方式，那么，确定发明权的公开时间应以最早的时问为准。候选人条件：(1)国家技术发明奖单项授奖人数实行限额，每个项目的授奖人数一般不超过6人。对于综合性的重大技术发明，可以超过规定人数。所谓综合性的重大技术发明，主要指在研究方法手段上、在应用的科学原理和知识上，都涉及到多个科学技术领域，需要多领域的科技工作者协作进行研究开发，并做出很多创造性的发明点。超过规定人数时，推荐单位、推荐人应当在国家科学技术奖励推荐书中提出充分理由，包括该项发明作为综合性的重大技术发明的理由和每位候选人获奖的理由。由专业评审组进行审查，提出初步意见，经国家技术发明奖评审委员会审定同意后，可以向国家科技奖励委员会提出超出限额授奖人数的建议。(2)每位候选人应该独立完成一项发明中至少一个以上的发明点。仅从事组织、管理、协调和辅助工作的人员不能列为候选人，候选人按贡献大小排序。奖励等级：国家技术发明奖的评审，对候选人所做出的技术发明，从难易复杂程度、技术思路新颖程度、技术创新程度、主要技术经济指标的先进程度，对技术进步的推动作用、推广应用程度、已获经济或者社会效益及发展应用前景等方面进行综合评定，据此决定授奖等级。基本评定标准如下：(1)属国内外首创的重大技术发明，技术思路独特，技术上有重大的创新，技术经济指标达到了同类技术的领先水平，推动了相关领域的技术进步，已产生了显著的经济效益或者社会效益，可以评为一等奖。(2)属国内外首创，或者国内外虽已有、但尚未公开的重大技术发明，技术思路新颖，技术上有较大的创新，技术经济指标达到了同类技术的先进水平，对本领域的技术进步有推动作用，并产生了明显的经济效益或者社会效益，可以评为二等奖。 科技成果奖励评价指标体系及方法研究2．4．3国家科学技术进步奖授予在技术研究、技术开发、技术创新、推广应用先进科学技术成果、促进高新技术产业化，以及完成重大科学技术工程、计划等过程中做出创造性贡献的中国公民和组织。国家科学技术进步奖的奖励范围涉及国民经济的各个行业，是一项覆盖面广泛的科学技术奖。从候选人、候选单位所完成项目的性质来讲，包括了新产品和新技术开发、新技术推广应用、高新技术产业化、企业技术改造及技术进步、技术基础和重大工程建设、重大设备研制中引进消化、吸收国外新技术，或自主开发创新的技术等。授奖条件：(1)技术创新性突出；(2)经济效益或者社会效益显著；(3)推动行业科技进步作用明显。候选人条件：国家科技进步奖的候选人应当是具备下列条件的项目主要完成人：(1)提出并确定项目的总体方案；(2)在解决关键的技术和疑难问题中做出重大技术创新和重要贡献；(3)在成果转化和推广应用过程做出创造性贡献；(4)在高技术产业化方面做出重要贡献。候选人按贡献大小排序，并在限额内产生。如果在项目完成中仅从事协调和组织工作的领导，或是从事辅助服务的工作人员，不能作为国家科技进步奖的候选人。候选单位条件：国家科技进步奖候选单位应当是在项目研制、开发、投产、应用和推广过程中提供技术、设备和人员等条件，并对该项目的完成起到组织、管理和协调作用的主要完成单位。如果只是提供资金，不能作为项目的主要完成单位列为获奖候选单位。政府部门～般不应作为国家科技进步奖的候选单位。但对于技术丌发类中推广应用先进成果和高新产业化的项目，政府部门如作为组织者、实施者又确有实质性重大作用的除外。等级标准：国家科技进步奖设一、二两个奖励等级。国家科技进步奖的授奖等级根据候选人、候选单位所完成项目的创新程度、难易复杂程度、主要技术经济指标的先进程度、总体技术水平、已获经济或者社会效益、潜在应用前景、转化推广程度、对行业的发展和技术进步的作用等进行综合评定。评定时，对不同项目类型，各有侧重。重大工程类项目应突出团结协作、联合攻关，强调在技术和系统管理方面的创新、技术难度和工程复杂程度、总体技术水平，以及对提高行业整体水平的作用意义。14 顶lj学位论文第3章科技奖励评价指标体系现状及改进3．1科技奖励评价指标体系现状分析虽然每个科学奖励评价的侧重点不同，但其评价思路和评价方法是可以相同的。本文以国家自然科学奖为例，采用应用社会学、统计学等理论、方法，对科技奖励评价体系进行改进。表3．1国家自然科学奖励评价指标说明注：此表为国家奖J肋办现行评分标准参考国家三大科技评价指标，以国家自然科学奖励为例，由表3．1可以看出：1．指标大多属于无法测量的定性指标，虽然指标分为“定性指标”与“定量指标”两大类，但根据参照评判标准来讲，都需要主观意识来进行打分。如在“科学发现程度”指标中评判标准：“有重大发现与开拓创新”与“有重要发现与创新”，这两个很难界定清晰。由于定性指标存在上述的缺点，削弱评价结果的权威性与公平性。2．评分分值不统一。在自然科学奖励评价中，其所侧重的是“是否属于科学发现”和“科学发现程度”，其权重都是25。但是，第一个指标的分值最高为“1”；第二个指标分值最高达“5”。也就是说，问接地削弱了对“是否属于科学发现"指标的侧重。3．其权数的确定采用主观赋权方法。主观赋权方法的优点是专家可以根据实 科技成果奖励评价指标休系及方法研究际问题，较为合理地确定各指标之问的排序。但也有其突出缺点，一方面不可避免地导致对其中某些因素过高或过低的估计，使评价结果不能完全反映科技成果的真实水平；另一方面由于主观赋权方法确定的指标权重一般固定不变，难以适应社会科技环境不断发展变化的现状。4．评价指标过于单一，从上表我们可以看出，只有5个评价指标，对于我国重要的科技奖励来讲，系统性和科学性还有所要提高的方面。其单一的评价指标影响了对项目的综合评判。3．2科技奖励评价指标体系的改进通过上述分析，为了使评价结果更加客观、公平、准确，评价指标体系的改进是结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系进行的。据此，经过反复研究，构建逐级、逐类、逐项的评价指标，组成指标体系的基本框架。评价指标体系的一级指标是科技成果奖励评价总目标的细化。由五个项目组成：是否属于科学发现、认可程度、影响程度、对科学发展推动程度、科学发现程度。五个一级指标下根据指标需要设若干个二级指标。从而初步确定本文评价指标体系结构框架，将国家科技评价进行如下改进。1．将国家科技奖励评价的5个指标作为一级指标。根据国家三大科技评价不同的内容重点，我们分别建立二级指标，对一级指标进行测量，从而获得总得分。减少了主观意识在评价方面的作用。以自然科学奖励评价为例，根据其特点建立如下指标。如表3．2所示：表3．2自然科学奖励评价指标一级指标二级指标A是否属丁科学发现B认可程度(主要学术思想和观点被他人认可的情况)C影响程度(主要论文发表刊物和专业著作的影响)F对科学发展推动程度G科学发现程度Al是否为国内外首次提出B1研究方法的创新程度B2科学理论、学说的创建B3研究领域的开拓程度B4科学探索与发现的深度、广度、系统性C1被引J}{j次数C2论文相关研究获奖次数C3被转载次数C4被访问次数F1所刊登论文的学术刊物的学术地位G1成果对理论或实践的指导性G2应用范围G3生命周期16 硕Ij学位论文根据国家自然科学奖励评价说明及其特点，本文对评价指标进行了改进和扩充，从而增强了其综合评价的能力。值得c兑明的一点是：生命周期(G3)指标的含义是指其技术转化为经济效益、实现生产的周期。其时间越短，说明其价值越高，相应分值应该越高。由于“主要论文发表刊物和专业著作的影响”(C影响程度)中个指标为次数指标，为将其划分为6个等级，可以将其最大次数减去最小次数，然后除以6，得各个层次之间的问距距离。从而得到Likert的六点等级评分制。(亦可取其中位数，按照中位数对其进行6级划分并进行评分)2．将显变量的评分分值进行统一。分数最高为5分，最低为0分。在这13个指标中，“是否为国内外首次提出"指标采用Likert的三点等级评分制，如表3．3。其他指标均采用Likert的六点等级评分制。表3．3Likert的三点等级评分表3．权数的确定采用客观动态赋权方法。本文采用结构方程模型的方法，通过显变量与隐变量之间的关系，外生隐变量与内生隐变量之间的关系，获得各变量对内生隐变量的直接影响和间接影响。即从指标的功能性角度出发来确定指标权重，从而更能够从本质上说明各变量的相对重要程度。利用结构方程分析确定指标权重，必须根据一定的理论基础确定合适的模型，并确定所建立的路径模型符合假设条件，然后利用Amos软件计算路径系数；最后通过模型的路径系数确定指标权重。3．3科技奖励评价指标体系改进后的结论依据社会学和统计学构建指标体系的理论与方法及我国的法律法规，结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系，经过反复研究，提出了建构我国科技奖励评价指标体系的基本原则。同时根据这些原则，建构出的我国科技奖励的评价指标体系：一级评价指标体系(一般的指标体系)包括学术水平、社会经济效益、技术难度、学术意义和适用范围；二级指标体系是～级指标体系的具体化、扩展和延伸，由此形成一个多层次和多级别的指标体系。根据以上对科技奖励评价指标体系的改进，建立的多层次和多级别的评价指标体系，使评价指标更为明确，客观，确保指标更为合理量化，减少了主观意识在评价方面的作用。在专家评分方面，统一的评分分值，保证了各指标分值在乘 科技成果奖励评价指标体系及方法研究以各加权系数计算后，分值的统一。最后，在权数确定方面采用客观动态赋权方法，定性评价与定量评价相结合、内部评价与外部评价相结合，对科技成果奖励‘进行综合评价。 第4章科技成果奖励赋权方法研究4．1科技成果奖励评价指标赋权方法理论在科技成果奖励评价进行多指标综合评价中，各个评价指标权数分配的不同会直接导致最终评审结果的优劣顺序的改变，因此赋权方法的准确性、合理性会直接影响到科技奖励评审结果的。在对指标进行赋权时，主要考虑三个方面：(1)指标变异程度大小，即指标能够分辨出被评价对象之问差异能力的大小；(2)指标独立性大小，即与其他指标重复的信息多少；(3)评价者的主观偏好。依据以上的三类因素，权数的赋权方法主要分为：主观赋权、客观赋权和主观与客观赋权相结合这三类方法。4．1．1德尔菲主观赋权方法原理目前在科技成果奖励评价体系的赋权中，运用最为广泛的是主观赋权法。主观赋权法主要是其专家根据以往的评价经验，主观的指定各指标所赋权数大小的一种方法。其中包括：德尔菲法、指标两两比较法、专家会议法、层次分析法(AHP)盘至寸。在主观赋权这类方法中，德尔菲法在评价赋权过程中最为常见。德尔菲法又成为专家评判法，主要是召集若干专家组成的评判小组，根据专家们各自给出的权数，进而汇总形成一个评判矩阵，再对各专家给出的权数进行综合处理，最后获得具有很高的准确率的集体判断结果的综合权数。该方法是利用专家的经验、智慧等较为主观的判断方式对评价指标进行赋权，也就是说将无法数量化的信息综合汇总，从而形成对各个指标的赋权，体现了评价者的主观偏好，方法操作较为简单，原理清楚明了。但权数受主观因素影响较大，不能形成具有说服力而且稳定的一套权数。它适合数据收集困难或者信息量化不易准确的评价项目。4．1．2结构方程模型客观赋权方法原理客观赋权法是根据各评价指标的原始信息，结合统计学方法，通过综合计算确定权数的一种方法。赋权结果较主观赋权法受主观因素影响较小，相对准确，说服力强。目前研究较为成熟、操作较为简便的主要是：变异系数赋权法、熵值法、多目标优化法、复相关系数法【9,10】。本文采用结构方程模型客观赋权方法。结构方程模型(StructureEquationModeling，SEM)是20世纪70年代Karl19 科技成果奖励评价指标体系及方法研究Joreskog和DagSorbom等学者提出的基于变量的协方差矩阵来分析变量之间关系的一种多元统计方法，是近几十年来应用统计领域中发展最为迅速的一个分支，已被广泛地应用于经济、管理、教育等社会科学领域。整合了多元回归、路径分析、因子分析等统计检验方法。其包括模型假设、测量方程和结构方程，是用于讨论观测变量与潜在变量关系以及潜在变量与潜在变量关系的多元统计分析方法【I1，12，13】O按照变量的特点不同，结构方程模型中的变量分为潜在变量和观测变量。观测变量是可以直接观测，在研究中能够收集到数据的变量，而潜在变量是不能直接观测，只能通过观测变量而间接度量的变量。根据潜在变量在模型中的地位，潜在变量分为外生变量和内生变量。外生变量是指在模型中一次也没有作为其他变量的结果的变量；内生变量是指至少一次作为其他变量的结果，并由模型内部生成的变量。就变量的关系而言，一个结构方程模型包括结构模型和测量模型。结构模型讨论了潜在变量之间的因果关系；测量模型则度量了潜在变量与其观测变量之间的因果关系。结构方程模型通常包括三个矩阵方程式：r／=Br／+r孝+f(4．1)X=人，善+占，(4．2)Y=人，，7+s，(4．3)其中：方程(1)为结构模型的方程。17、善分别为内生潜在变量向量和外生潜在变量向量；B、11分别为叩、孝的路径系数矩阵，f为结构方程的残差向量，方程(2)(3)为测量模型的方程。x，Y分别为外生潜在变量和内生潜在变量的观测变量向量；A，，A，为因子载荷矩阵，占；，s，为残差向量。．另：模型中变量间的关系亦可用通径图直观地显示，也可以利用结构方程(StructuralEquations)进行表示，这两种表示方法是等价的。4．1．2．1结构方程模型权数确定的分析过程利用结构方程模型确定指标权重，首先要根据一定的理论基础确定合适的路径模型，作为研究初始的基准模型，这需要一些先验信息以及对所研究问题的深入了解；其次，确定所建立的模型符合假设条件，然后利用Amos软件构建结构方程模型，并进行计算；通过分析对模型进行拟合检验；如若通过，对模型进行修J下，通过模型的路径系数确定指标权重。下图描述了利用结构方程建模流程分析，如图4．1所示：20 硕lj学位论文图4．1结构方程建模流程图4．1．2．2结构方程模型的优点与传统统计方法相比具有很多优点：第一，隐变量可以通过一个或多个显变量进行测量。在结构方程模型中，不可观测的隐变量往往是通过可以观测的显变量来综合测量的。隐变量是事先可以根据研究目的确定下来的研究对象的特征，只要根据相关理论找出这些特征可以从哪些方面进行测度或反应即可，该过程是一个从上自下的研究过程；而在因子分析中，提取的公共因子事先是不确定的，其所对应的显变量也不是根据现有相关理论得来的，而是通过数理上的特征根或方差贡献率大小进行判断的，该过程是一个自下而上的研究过程。第二、根据可观测的变量可以计算出不可观测的隐变量之问的相互关系。而回归分析主要研究的是显变量之间的关系，对于隐变量而言，通常是通过设计若干显变量去间接测量隐变量，进而根据结构方程模型的具体计算方法产出隐变量的所谓观测值，然后再将计算出来的隐变量作为显变量去进行回归分析。第三、结构方程模型允许自变量和因变量含测量误差。对于一些诸如态度、行为、感知等隐变量往往含有误差，也不能简单地用单一指标来测量，在结构方程模型中则允许这些自变量和因变量均含测量误差来进行测度，并可以通过显变量和隐变量之间的测量方程排除这些误差。第四、结构方程模型可以同时估计隐变量与显变量的关系及隐变量之间的关系。隐变量与其对应的显变量之间的关系可以称之为因子结构，主要衡量了各个显变量对他们共同反映的隐变量的影响；隐变量之问的关系也可以称之为因子关21 科技成果奖励评价指标体系及方法研究系，主要考察经过显变量计算出来的隐变量之间的相互关系，这种关系包括相关关系和因果关系。第五、结构方程模型既可以用图形也可以用数学模型进行描述。用来表示结构方程模型的图形称作路径图，标示有变量之间相互影响程度大小的路径图即为路径系数图；此外结构方程模型还可以用方程组来表示。4．1．3基于德尔菲与结构方程模型相结合的赋权方法首先本文采用结构方程模型的方法实现对科技成果奖励评价的指标客观赋权(隐变量通过一个或多个显变量进行测量，根据可观测的显变量，借助AMOS软件可计算出隐变量之间相互关系的路径系数，)。然后在计算出的路径系数的基础上，采用德尔菲方法，对指标进行更加合理化的调整。从而实现指标的赋权，并根据赋权得到最终评审结果。达到了既考虑到专家的意见，又不完全由专家来评审的目的。从而既减少了由专家决策所带来的人为因素的影响，又减少了客观赋权方法与实际情况中部分不合理性。4．2基于德尔菲与结构方程模型的赋权方法的实证研究4．2．1建立结构方程模型指标体系根据国家自然科学奖指标的特点和其内部的逻辑关系，可推出3个外生隐变量之间的相互关系：1．“主要论文发表刊物和专业著作的影响’’(C)是指他人在J下式发表的科学论文、专著、教材中正面引用完成人提出的学术思想、观点、方法，或被有关实验、实践所证实的情况，包括引用文章的质量、数量，引用文章发表刊物、引用内容及学术界的公丌评价等。因此其思想和观点被其他学者和专家关注、引用的越多，就越能反应出其论文的影响程度。即：“主要学术思想和观点被他人认可的情况”(B)决定了“主要论文发表刊物和专业著作的影响”(C)。2．由于其他学者和专家正式发表的论文中不断地正面引用完成人提出的学术思想及其观点，会不断的完善发展此思想、观点，从而推动了本学科相关学科的发展。那么对于“主要论文发表刊物和专业著作的影响”(C)指标，其对“科学发现程度”(G)也有着影响。通过上述分析建立结构方程模型指标体系，如下表4．1： 硕一I：学位论文表4．1结构方程模型指标体系变量名显变量变量名隐变量显变量变量名B1研究方法的创新程度B2科学理论、学说的创建主要学术思想和G1成果对理论或实践的指导性G2应用范围G科学发现程度G3生命周期总得分VALUE蒹要燃I，内A1外首次提出⋯所刊登论文的学术刊物F1的学术地位●I_--_●-一-_l__________-_-ll-_I●_-●l_l_____●-一____-____-_●-●__-I-_-_●●_-___一-__●______l__-__-_l--_●l_l一-。__l--一由结构方程模型原理及其以上隐变量之间的关系，显变量与隐变量之间的关系，并采用最大似然估计法进行计算分析，以便充分提取原始显变量的信息。可得出如下模型。如图4．2：图4．2结构方程模型指标体系图23I／，’、b12专@ 科技成果奖劝评价指标体系发方法研究4．2．2科技奖励模拟数据的产生由于原指标评价体系中，只有5项指标打分，无法满足构建模型的数据分析，因此采用随机数据模拟研究。通过数学推导和统计软件的应用产生各种分布类型的随机数据。在随机模拟的实现中，随机数据的产生是最基本而重要的一个环节。随机数据应根据问题实际背景以及数据的数字特征产生，具有可信性。较普遍的方法是以实际观测的数据集为例，借鉴其数据结构，协变量的取值产生随机数据。本文中原指标评价体系中的实际的打分数据集，通过EXCEL统计软件，生成13个指标的随机打分值。具体方法如下：Excel是专门用于表格数据处理的计算机软件，它丰富的函数和方便灵活的使用方法，使它在行政、财会、数值计算、数理统计、预测与决策等各种领域都有非常广泛的应用。应用Excel的随机函数rand()，可以对医学、生物学及其他学科实验研究中的实验对象，进行方便、快速地随机化处理，对于数量较大的实验对象，其高效、快捷的特性尤其明显。随机数据实现过程：运用随机数生产命令“rand()"，其生成的为(0，1)的均匀分布随机数列，要得到我们所要产生的专家评分O．5，还需套用命令“FLOOR(number，significance)”。FLOOR命令含义为：将number向下舍入(向零的方向)到最接近的significance的倍数。即我们所输入的命令完整式为“FLOOR(Rand()木6，1)”。至此我们完成一个单元格的模拟专家打分。运用EXCEL自动复制功能，就得到了我们所需要的25个专家对24个项目的模拟评分数据。此方法简便高效，应用范围广，可以按实验设计要求，对各种实验对象、材料进行随机排序处理，通过组合和重复，可用于各种实验研究。·我们参考国家科技奖励办某年参与评审项目的个数和评审专家数，进行数据模拟。通过EXCEL中“FLOOR"命令生成25位专家对24个项目的13个指标的得分，并输入到结构方程模型中。4．2．3模型评价与修正以受样本数影响较小的GFI(模型的拟合优度指数)、AGFI(修正拟合优度指数)为主要评价指标和以NFI(规范拟合指数)、CFI(比较拟合指数)和CMIN／DF(卡方与自由度的比值)为辅助评价指标对模型作整体评价。利用AMOS7．0软件，对上述结构方程模型进行计算，所得结果如表4．2。 硕士学位论文表4．2初始结构方程模型拟合系数表由表4．2的结果我们可以看出，拟合优度指数(GFI)大于0．9，基本达到了模型拟合效果较好的标准。但修正拟合优度指数(AGFI)小于0．9，NFI检验指标也不够理想，因此也无法推断假设模型完全成立，说明模型还需要进一步的修正。AMOS允许在总体模型拟合中对增加到模型的每个可能的路径使用修J下指数产生期望减少的卡方，从而达到修正模型的目的。根据AMOS对修正模型的建议，在初始模型上增加了五条双箭头路径，表示这五对变量之间存在协方差，如图4．3所示。图4．3结构方程模型标准化估计系数图经过对模型的修正，再次运用AMOS对模型进行计算，所得结果见表4．3。表4．3修正结构方程模型拟合系数表近似误差均方根(RMSEA)接近0．05，拟合优度指数(GFI)大于0．9，修正拟合优度指数(AGFI)大于0．9。两个辅助检验指标NFI、CFI也基本达到了要求。 科技成果奖励评价指标体系及方法研究4．2．4指标权重的确定综合以上分析，认为上述模型拟合较好，可以做进一步的分析。由此得出：路径系数反映了原因变量对结果变量的直接影响，能够最本质地说明变量的相对重要程度，路径系数越大，直接影响程度越大。由图4．3，可知各变量在总得分(VALUE)中的路径系数分别为：表4．4一级指标路径系数根据路径系数计算出各个指标在VALUE中的相对权重：表4．5一级指标相对权重由表4．5我们可以看出，权重相对较大的为一级指标G“科学发现程度’’以及一级指标C“主要论文发表刊物和专业著作的影响”在此次评审中占的比重最大。在此基础上根据得出的各指标权重，再组织若干对评价系统熟悉的专家，通过一定方式对指标权重独立地发表见解，并用统计方法做出适当处理。即利用专家咨询法，与实际相结合，调整各指标权重。比如下表为专家确定后的各指标权重：表4．6调整后的相对权重最后根据调整后的各指标权重，可计算出各个项目的总分(VALUE)，从而得出各个项目的排名。 硕l：学位论文第5章基于线性加权法的科技奖励评价实证分析5．1线性加权法的基本原理随着科技成果奖励评价研究的不断深入，我国的科技奖励评价体系也在不断的更新，本文采用目前最为普遍使用的线性加权法对新建指标体系和赋权方法、结果予以验证，计算各项目的综合得分，并予以排序。在线性加权方法中，数据的权重反映了该变量在总体中的相对重要性，每种变量的权重的确定与一定的理论经验或变量在总体中的比重有关。依据各个数据的重要性系数(即权重)进行相乘后再相加求和，就是加权和。根据加权和计算出相关项目的总得分情况。5∑_，Sj=型一，(J=1,2，3，．．．，24)(5．1)n其中xt第i个指标的专家打分，Z为第i个指标的权重，11为专家数，s，为第i个项目的总得分(VALUE)。5．2基于线性加权法的科技奖励评价实证分析该方法从定量的角度出发，根据指标权重分析各指标对总目标的影响因素，从而逐步计算出各评审项目的总得分，并以此来对各项目进行排序。现以第四章的模拟数据为例，根据调整后的各指标权重以及上述公式5．1，可计算出24个参与评审项目的总分(VALUE)，从而得出各个项目的排名(其中X1，X2，X3⋯，X24为参与评审的24个项目)。如表5．1所示：表5．1专家评分项目得分根据专家项目打分表，对各个项目进行排序，如表5．2所示： 表5．2项目排名由表5．2得出专家最终评审项目的排名，项目X14总得分第一。上述实证结果表明，本文所构建的指标体系、所采用的赋权方法，通过模拟数据的验证，能够对科技成果奖励作出较为客观、公J下的评价。 硕I：学位论文结论科技奖励是科技建制币常运行的动力，同样对科学家个人、奖励授予机构，都具有巨大激励作用。然而，要充分发挥科技奖励的激励作用，还必须具备两个条件一是有一个优化的科技奖励系统的种类结构；二是对科技成果的评价要客观、公正、公平、合理．即要有一套严格而科学的评价指标体系。本文综合运用指标构建理论，结构方程模型方法等，从系统分析出发，按照科技成果奖励流程，首先对原科技成果奖励评价指标体系进行分析；为了使评价结果更加客观、公平、准确，根据指标体系建立原则和方法，并结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系对科技成果奖励指标体系进行改进。然后，对新的指标体系的指标赋权方法进行研究，与以往指标复权方法相比较，探讨一种能综合反映指标相对重要性的权重。通过本文的研究，得到以下结论：1．科技奖励评审是科技奖励程序中的重要一环，评审的公『F性、合理性和准确性直接影响科技奖励的结果。本文应用社会学、心理学、统计学等理论、方法对科技成果奖励评价指标体系进行完善调整，对构建相对合理的科技奖励评审系统，确保科技奖励公正、合理，发挥科技奖励的各项社会功能具有重要意义。2．对于指标体系的量化，采用混合型方法，既保证了指标体系能够较好的排除奖励评审主体的主观干扰，又保证了指标体系的简明，易操作性。3．通过本文的实证分析，运用结构方程模型理论对科技奖励指标体系进行赋权、分析是合理可行的，它既可以用数学模型也可以用图形进行描述，因此可以更加直观、清晰地从大局上把握，并且对模型的讨论与修正。因此与其它方法相比具有自己优越的特性。本文的研究成果对科技奖励评价方法的创新具有重要的参考价值，其贡献和创新之处主要体现在：1．本文依据社会学和统计学构建指标体系的理论与方法及我国的法律法规，结合国家科技奖励政策精神、奖励目的和要求，参考现有的成果评价指标体系，经过反复研究，提出了建构我国科技奖励评价指标体系的基本原则。同时根据这些原则，建构出我国科技奖励的评价指标体系：一级评价指标体系是一般的指标体系，包括学术水平、社会经济效益、技术难度、学术意义和适用范围；二级指标体系是一级指标体系的具体化；扩展和延伸，由此形成一个多层次和多级别的指标体系。2．本文引用likert等级评分制，将指标体系评分分值进行统一。分数最高为5分，最低为0分。从而保证了对项目的综合评判一致性。29 科披成果奖励评价指标体系及方法研究3．本文创造性的提出了一种全新的指标赋权方法一结构方程赋权法。该方法通过隐变量对一个或多个显变量进行测量，根据可观测的显变量，计算出隐变量之间相互关系的路径系数，确定指标间的权重，从而达到了既考虑到专家的意见，又不完全由专家来评审的目的。减少了由专家决策所带来的人为因素的影响。结构方程模型的另一个特点是，既可以用数学模型也可以用图形进行描述，因此可以更加直观、清晰地从大局上把握，并且对模型的讨论与修正。与其它方法相比具有自己优越的特性。全面准确地构建科技奖励评价体系、评价科技成果水平，是科技管理中一项极为复杂的系统工程。尽管笔者在科技成果奖励评价方法上尝试了一些新的思路，但由于本人才疏学浅，加之时间仓促，文章中必然存在不少尚未解决的问题，留待深入研究：1．本文实证分析中，虽然对专家评分的分值范围统一为“O一5"分，即五分制，但较之十分制、百分制，或者其他分值范围，对奖励评价结果有无影响，究竟哪一个更合理、更有利于作出科学的科技成果奖励评价，这是一个值得研究的问题；2．本文实证分析由于条件所限，数据的选取只能采用随机数生成。因此对于构建模型实际应用过程中所需要解决的问题，还有待探讨和深入研究。 硕f‘学位沦义参考文献【l】郭碧坚，韩宇．同行评议制．方法、理论、功能、指标．科学学研究，1994，(3)：63．66[2】郭明杰，魏然．特尔斐法简介．经营管理者，1999，(6)：39．40[3】党亚茹．论基础研究成果评价中的三项文献计量指标及其关系．图书情报知识，1997，(1)：11—4[4】SaatyTL．TheAnalyticHierarchyProcess．Newyork：McGraw—Hilllnc，1980，25-32[5】孙海法，朱莹楚．案例研究法的理论与应用．科学管理研究，2004，(1)：116．120[6】蒋美仕，郑孝国，古祖雪．论我国科技奖励评价指标体系的建构．中国科技奖励，l996，8-11[7】朱庆芳，吴寒光．社会指标体系．北京：中国社会科学出版社，2001，11．13【8】郭学武等．科技奖励的理论与实践．武汉：华中理工大学出版社，1996[9】杨宇．多指标综合评价中赋权方法评析．统计与决策，2006，(7)：17．19[10】孟生旺．多指标综合评价中权数的选择．统计研究，1993，(2)：69—71【11】侯杰泰，温忠麟，成子娟．结构方程模型及其应用．北京：教育科学出版社，2004[12】Pui-WaLei，QiongWu．IntroductiontoStructuralEquationModeling：IssuesandPracticalConsiderations．ITEMS．InstructionalTopicsinEducationalMeasurement，Fall2007，10-53[13】吴兆龙，丁晓．结构方程模型的理论、建立与应用．科技管理研究，2004，(6)：90．95[14】蔡永红，姜勤德．统计在社会科学领域应用的新进展及反思．统计研究，2006，(2)：66—69【15】刘锦宏，罗紫初．网络科技论文专家评价模型研究．中国图书馆学报，2007，(3)：49—51【16】龚建桥．科技奖励的评审方法及指标体系．科学学研究，1989，(3)：64．70【17】岳奎元．科技奖励的评价原则及导向功能．科学学研究，1998，(4)：100．103【18】郭元锋，杨远芬，彭佼蛟等．科技奖励评审系统构建研究．科技管理研究，2007，(3)：177-179[19]会聪，彭嘉雄．科技奖励的智能评审模型．软科学，2002，(5)：6．9[20】刘新建，乔晶晶．科技成果奖励评价方法的理论探析．科技管理研究，2008，(1)：89—92 科技成果奖励评价指标休系及方法研究【2l】程开明．结构方程模型用于顾客满意度研究的理论探讨．市场研究，2006，(4)：33—36【22】金孝银．科技成果的管理与社会化．长沙：湖南科学技术出版社，1994，36．75[23】万君康．关于建立科技奖励学的设想．科技管理研究，1994，(4)：27—28[24】杨爱华．对我国科技奖励问题的分析与思考——从2004年度国家最高科学技术奖空缺谈起．科技管理研究，2006，(4)：4．6[25】D．Diakoulaki，G．Mavrotas＆L．Papayannakis．Determiningobjectiveweightsinmultiplecriteriaproblems：TheCRITICmethod．ComputerOpsRes22，l995，763．770[26】王昆．三种客观权重赋权法的比较分析．技术经济与管理研究，2003，(6)：48．49[27】HwangCL，YoonK．MultipleAttributeDecisionMaking-methodsandApplications：AState-of-the—artSurvey．NewYeak：Springer—Verlag，l98l，l5-78[28】RamanathanR&GaneshLS．GrouppreferenceaggregationmethodsemployedinAHP：anevaluationandanintrinsicprocessforderivingmember’Sweightages．EuropeanJournalofOperationalResearch，1994，249—265[29】林强．科技成果综合评价中评价主体对客体评价的影响及权重模型．科学学与科学技术管理，1995，(2)：39-41[30】D．N．Lawley,A．E．Maxwell．FactorAnalysisasaStatisticalMethod．TheStatistician，1962，(1)：209-212【3l】HFKaiser．Theapplicationofelectroniccomputerstofactoranalysis．EducationalandPsychologicalMeasurement，1960，(1)：141-151[32】张立军，任英华．多元统计分析实验．北京：中国统计出版社，2009，122·123[33】HDeng，CHYeh，RJWillis．Inter—companycomparisonusingmodifiedTOPSISwithobjectiveweights．ComputersandOperationsResearch，2000，(10)：9631973[34】JahanshahlooGR，LotfiFH，IzadikhahM．AnalgorithmicmethodtoextendTOPSISfordecision—makingproblemswithintervaldata．AppliedMathematicsandComputation，2006，(2)：1375—1384【35]ShihHsu-Shih，ShyurbHuan-Jyh，StanleyLeeE．AnextensionofTOPSISforgroupdecisionmaking．MathematicalandComputerModelling，2007，(7)：801．813[36】ChenChenteng．ExtensiontotheTOPSISforgroupdecision—makingunderfuzzyenvironment．FuzzySetsandSystems，2000，(1)：1—9【37】WangYujie，LeeHsuan-Shih．GeneralizingTOPSISforfuzzyMultiple‘criteriagroupdecision—making．ComputersandMathematicswithApplications，2007，32 硕l‘学位论文【11)：1762·17‘72[38】ITJoliffe，BJTMorgan．Principalcomponentanalysisandexploratoryfactoranalysis．StatisticalMethodsinMedicalResearch，l992，(1)：69—95【39】宋光辉．统计学教程．长沙：湖南大学出版社，2003，382—383[40】戴海崎．心理与教育测量．广东：暨南大学出版社，2006，186．189[4l】汪晓霞，李岱松，王瑞丹．科学技术奖励多乘此模糊综合评价模型研究．数量经济技术经济研究，2002，(11)：63-65[42】关天云．模糊综合评价法在科技成果奖励评审中的应用．广东输电与变电技术，2005，(4)：12—14[43】董伟．科技奖励评审模型研究．长沙铁道学院学报，2001，(2)：99-103[44】王瑛，曹玮，罗珍．考虑专家信度的科技成果立体式综合评价模型．软科学，2008，(6)：6—10[45】张立军，邹琦．基于路径系数权重的科技成果奖励评价模型．科技管理研究，2008，(5)：102—103[46】叶义成，柯丽华，黄德育等．系统综合评价技术及其应用．北京：冶金工业出版社，2006，30．42【47】叶茂林．科技评价理论与方法．北京：社会科学文献出版社，2007，117一119[48】蔡辉，沈婉兰．医院综合效益评价中的权数(一)一信息权数．中国医院统计，1997，(2)：78—80[49】王儿，张耀良．关于“权”及确定权重分配方法的探讨．系统工程，1993，(5)：11．14 科技成果奖J：fi6评价指标体系及方法研究致谢时|’日J是水，回忆是水波中的容颜。静静想来，在我两年半的硕士生的学习和研究中，有许许多多的老师、同学、给予了我很大的帮助，才使我有幸顺利完成毕业论文，在这里，我很诚挚的向你们道谢。首先，我要感谢我的硕士生指导老师王瑛副教授。古语讲，“喝水不忘挖井人”，恩师的渊博知识、高尚的人格、一丝不苟的敬业精神和严谨求实的态度，不仅授我以文，更是我为人处世的典范。我的学位论文更是在导师的直接帮助和精心指导下完成的。从论文的选题、大纲制定到最终定稿凝聚着导师的大量心血和汗水。那循循善诱、诲人不倦的一幕幕情景，将令我终生难忘。同时，我还非常幸运地得到了湖南大学统计学院众多老师的教诲，在此向晏艳阳教授、胡宗义教授、张立军副教授、许鹏教授、周四军教授、曾昭法副教授、蔡晓春教授、刘再华副教授、谭德俊副教授、李正辉副教授、胡荣才副教授、陈黎明副教授、倪青山副教授、任英华副教授、刘甲求老师、肖百龙老师、马守荣老师、孔志周老师、谭朵朵老师、陈璐老师等表示最诚挚的谢意。我还要特别感谢陈方军老师、刘志云老师、张芝元老师和夏浩老师对我生活上给予无微不至的关怀，为我的学习和研究提供了极大的方便。此外，我还要感谢与我同窗多年的所有同学，和你们两年多的相处中，我感受到了团队的温暖和力量，这将是我一生中宝贵的记忆!带着许多人的祝福与期盼，也带着我对你们最深切的感激之情，我会更加峰定地走下去，谢谢那些曾给予我帮助和即将给予我帮助的所有人，谢谢你们!祝你们一生幸福，身体安康，好人一生平安!郝国杰2009年11月 硕l：学位论史附录A攻读学位期间所发表的学术论文发表论文[1】王瑛，郝国杰．基于SEM的科技工作者幸福感影响因素分析．科技管理研究，2008，(12)[2】王瑛，郝国杰．科技成果奖励指标体系新构想．科技管理研究，2009，(8)参与科研课题教育部博士点基金项目“科学技术奖励评价策略及方法研究”，2007．2009湖南省自然科学基金项目“科技成果奖励综合评价方法研究”，2009．2010 “娶∑嗳。据N罩匝。箧镶靛俅砷藿簧鎏掣5尉餐稻星氟吕拳≤稀簿籁籍≤nU收籁釜≤蠢粼舀塌：恹u富而籁柩≤U^||薹霉薹||藿菡《薹毯晷蜒议敢剑害星硭虿鲟tn寸oNN寸H寸一H”寸寸noN一寸”Nn寸寸n寸HN寸寸n寸NNo-nN-_一ontn寸寸lno寸NonoNHnNN寸寸寸Ino-nHn寸nNHNnNlnNHon—N—oN”n寸nn”onoN”一寸寸_mnNo_oo_寸nN寸NL4-)H-nnoIn寸寸oono_noN寸NIn”oN_寸寸NIn_InNonNo们寸NHnH寸Hn寸nNtnotn．nnoIn寸noNn．nnNoN寸nHn_mNn寸寸N”_Nn呐一寸__oH寸HNoN价Nnn寸NnNo一寸Nnono14．-)寸n寸noH‘nN寸oNHnn—ooo_noN—o寸n寸寸N寸_HnNoN”NNInn”No盯1NInNo口n毯留*静星SfI士*扑星仪袋翻fl士龌一皿艘否g毯蒌壤器静，秘面星燃恹斟扑藻N∞碌富Ia丑裂≤枉去≮划愀嘲匠穴陋喇一《赵跫尽越扑枣。毯婪需憩掣妊疖；惭莨．蜃碘g芒辩爿妒熏Sn士搽接仪袋雕Hu熙鎏星口冬<晕挺《鼷熏羁圉*扑隧H∞雕《补藻一嗵融喇《妍锹邈咚暴尔靶套辎∞啭莲装畜跫柽越垛篆竖器$去奎挲陕垡晕东 篁藿。娌N王匠。毯挺靛林砷鬈霎鍪掣5尉餐三星辎尽黎吕零≤囊寒t萋鍪攥毯蕊萼毫藤”：吕《誊毯暴慕型郝貅孥堡箸瑙喜薹萋H，HLE?∞杷髑oIntnHnNnNnt'qo寸N寸寸H寸一n寸。寸nNonH寸呐HNmN寸oH寸HnHln_”HHNmInNHNo_nNnIno”nnIn寸一t"4tnoNnInHn_HoN寸Innn寸NoIn寸on寸oo_Nn寸NoN寸onNH寸onNIn”NnHNnon_t'qnoNoNHInnN寸寸价nnHnHn”寸ll-=qnHNInNnHt-,it．qnNN寸寸InnHNor,iNnNoNN_In—onNnn寸oHoNoo_nHnNn寸lnonHnH寸nNno寸NNHnonH寸nlnInNotnInn”寸n寸寸onN_oHH寸nononNoN寸Hn寸non寸”oNn寸寸no寸。寸In寸H寸n寸nln寸HoHoHnon寸v=-iN”nnN寸寸no___oo呐no”oNH”寸寸nNInH”n寸”寸一n”NN(-q(-q””InN”oInNn”Ntn”oo(-qN”Nn卜n篷黉长扑星S耳长扑议秘谢幕蓬籁§纂≤粼椿状摩辐≤柩辞越nu彬罂仪磐Nu幂越丑璐≤枉去长础制嘣匝穴陋喇一《毯硭曝然扑藻。刨硭臀袋喽黛外套靛．辱蘸g肇辩爿如冥S军擀然议错酶州。熙鎏星口5<单衽《鼷畏驹自*扑戳州∞鎏撼非凄．土唾陋划《枷愀邈蚁掣掣扑。匿 ∑‘雨n‘o据N窭匝。崔挺霞林Ⅲ}．鬈簧量趟搓交《挚5尉餐”n寸_nN_”NN寸NN寸寸dln_H寸一寸寸寸N寸。一N．n_寸NNo”non寸H_一寸．non__NN寸”寸NnHn—m寸N寸lnNoHH寸nn”寸寸mnInIn寸N寸InoN寸Nno寸InoInnHonoC,In寸寸m寸一noInoo寸寸ooNnon寸InNn一寸”寸。寸N寸NoNoNnoNnv．．-iNon—o寸N”寸n寸NonoNnoNon寸Nnn寸_nNoNntn寸oonn寸on寸寸寸N寸oIn一一N价。寸InnN一”oo—o寸nnN”寸寸寸NoNH_nnn_o”no”HlnIn寸”Inn寸寸N寸nnn“”nHno寸H寸n寸寸寸__nnN寸nHn”寸_nnNn一寸H寸NoN—Hn—onoo_no寸。寸nnn呐nIno寸v、nHN”_NnInIn寸。寸n寸nNnv、-nnN”oIn—NoNoNnN竹In”NnlntnN”NNn∞ng舞*扑g器fl士*扑g议秘谢幕基一阻糕≤星零耧寸u籁《籁≤粼攥状毒黎≤王瓣肆越nu彬罂仪嵇Nu而餐5赳．碍垛，刨：～，趟账g害越?《鞲辩藻寸∞刨蒌裂面星毯婪臻蜒土f星餐罄静，秘石星燃恹器梃富n∞剐静茫N∞妖富一∞fTi辎≤枉女墨．冉锹吲匦穴陋刈一<魁蒌塞然静藻。越硭臀犟噗蜒扣；脚茛．辱醭器警婶爿如冥S『l士群悠议袋淋Hu熙坚gE5<晕警《露熏霸昏长静雕删∞尽越外宾卜唾阻琅《t軎锹邈装誊燃长冬垛芒竖杂S芸§浆张笔誊痞 “累=匿。婚N蛋匝。毯硬靛七j<蹄鬈薹囊型5副餐超垦籁舀塞≤褥餐黎耧≤mU收燕兰≤菝粼鲁囊u富哆籁鲻≤5王饕舞L冀耄聱鏖藻菡《薹西墨蜒恹隶魁富垤硭oIn寸寸寸。寸noHnlnIn寸nNnN寸onN寸一”o0,1寸-一nnO,Io寸NH_No””oHd寸n寸_o呐InNInm．no,InH”O,IHNo寸HoNnmnn寸寸寸on寸HlnH寸In寸”oInlnHn寸InnO,INn寸InHN寸noHNnNno_NHIn0,1ono”NHn寸”lnNoNn”寸lnH寸．nnIn寸N-n_寸|n_寸寸_”o寸InInnonH寸ontn”n_c,I寸NoC,InoInN寸n寸H寸一寸_NN寸寸N”N__o”nnInonO,I寸,m4n寸C,IoNnH寸oHNln_寸HO,IoNo,I．n”N寸oonInHnlnonHNn—n寸tnon”寸v、_寸O,INn寸NH寸寸寸寸H_nHnn寸Hnono_o”NHN寸．noNnn寸tn_寸omIn,RIInNoNn”-_寸nNo,IHInoO,IoHo寸InNoln寸nNlnNO,IoNnoNoc,INonNlnoNtn”NtnInN寸口n篷碧*瓣gS耳*并g仪秘剡n士邃一‰艘萄g堪婆臻餐举游，秘面星媳仅n∞刚静饔N∞状匿．【∞习裂≤粗女墨珊锹吲匝状陋喇_《毯凄爵裂扑藻。赵瑟臀祜噬《静痞靛．兽醛星$簿爿秘毒Sfl士醛越仪磐酞州u熙挚星口泰<晕耧近鼷熏霸昏长貅雕州∞爵越静藻一暝陋嫂《蝌制邈杈秘基扑二匿 “虽：嗳。疆N王匝。侄攮喀林砷譬蚕萋掣5副餐餐尽燕吕容≤柩餐糕整莛no掣v燕I-中,≤菽粼翅蠢Nt^u富m燕耧≤o工逃鼠0掣圣饕毯饕=-．垭I"聪，cij杈星剑器蜒昧求越富星硭墨辩暴蒙掣藻，鲁岔袋赴辫Innln寸寸H”nnmHn寸In”寸oonNN．nN寸寸n．nInIn寸H寸一Hnn‘n_N寸nN—no”ooln寸oN寸寸寸N_寸寸N_一nn寸oo”oHn_n-n”寸n寸寸一Nn寸寸nN—onn寸寸寸寸N—o—NonNonlno_n”on寸一m—N寸．nn_寸no．n寸nIn”寸。寸oN寸Ino_NNoNoHo_．nN_nH_Hn_nHH一__”H寸H寸寸HNo寸N__寸_一oN寸_HnoN寸nmHno寸lno．nNH寸Inln_oNHn_一H”NnoN寸寸寸n寸寸onNo”．nHN寸o．nInonn寸No寸NNlnHH_on_tnNoN”InN寸HoNno”寸on寸寸onN寸i-．w寸nnn_HH-nn寸N．n_一oNno”ln—oN”n寸n一”寸Ho寸omHnHlnnon_”InHH寸NN”NnoN”ooNN”In”oNoNnoNo寸避簧长静星§鬲*将g杖秘潮『I士妪一皿fTl裂《枉女主涮锹吲匠式陋刈一《谜廷爵然扑藻。毯莲臀鞋噗越牦；*茛．辱旗星世辩爿秘冥霉n士群然议秘醚刊u寒挚星口≤<单帮《鼷冥霸昏*扑雕刊∞塞越扑藻．上疃陋刈《鲁：制邈裟吝爆长≤垛芝坛颦$塞荟挲醭垡晕东 =匾n崆。据t"q至匝。毯摄茛林蹄鬈慧塞X]r'r掣镁基建翠5剐餐鲻垦瓤吝罄《糕擗辐籍巡—、U收籁釜≤菽粼≮描=状u枣m籁籍≤6王霉羹囊蓬函嫩星刨器蜒恹隶趔毫星裂盈鲟曩篆掣藻，箬&：皋缸囔∞恹髑寸寸ooNo寸Nonn价HNoNHN寸NnNoo寸_nHNnoInoH寸一nnon寸NHInnHo”N寸nn一寸Ino寸ono”．nnmHo”o．nN寸noN寸HN_NNnmHo”no寸nInnN寸HHInNn”_”H_寸”N_一_H_们oHoIn寸寸寸寸NoNN寸寸NNHNoo寸nn．nN寸。寸。寸o”oHno一．n寸Ho—HnNon”nNInNo”．nn_nNn寸nHNHNN寸nn”-一HHno寸H”H寸寸HNnInNnNnN_nnn寸N寸No”HoInH寸”o寸NNN—o一寸。寸蚧oHn寸on寸H寸oNn寸n””noN寸寸寸NoNonNHnoInHN寸寸lnnoInonInHo一”N寸。寸lnoHn寸NNoNn”N”””InNIn”HHlnNIn”一InnNn”e,tnNnNolnoNN”lnN卜牮舞*扑星器n士*静g仪秘蒯n圭基_皿丑裂≤枉武爱埘愀嚼匝状陋喇_《越婪尽然扑饔。越婪臀爨噬越龄藻靛．善醛星蛏辩割秘犀Sn士秣越愀嵇雕州u寒逛g詹冬<掣餐《鼷熏鞭昀*扑姝州∞赛然静藻一疃陋嫩《船锹邈杖袋掣扑．1匿 u舔：匣。据一王匝。崔镪靛俅砷藿薹萋掣5尉餐餐垦辐吕容≤糕鬈燕螺≤nU彩餐平蹙菝粼≮辎=谅u富"瓤楚≤U_隧吲。掣萎雾鏖薏菡《薹毯器蜒碌隶赵吝星蒌虿鲻黎蒙掣凄，箸∞e,i皋七孽N—N_一oo寸Non寸寸H寸寸oH寸一nntn”．n寸nonn寸怕NNN‘n寸o”nNIn寸ooNIno寸”_寸寸nonmHoHoH寸nnNln寸nHoHIn寸N”寸HoN寸一n寸nnNom寸oHNmNnv、寸nnN寸”寸”NnN”NIne,I_H—H寸HHn寸寸InN寸寸N寸nHon_””Hon”o”oNo_nn寸n寸InN_nnoN_一一Nn_寸ononN”HN_寸nHoNtnmHNH寸寸N．nNoIn寸””Hn寸NlnHNnHonn”o．ndoviiHNn”ooNIn_onoNnlno—Nno寸蚧寸n一_onoN_nN寸n寸Nno”nnoIn”otnnNH．nHH_oNnoH寸onInNH寸onn寸Hon”HHH-nntnN寸寸oo—o寸N寸。寸nm．n”onN”NNv、nnNoNo”oNlnoN价n们∞一寸牮司长扑g器耳长粘～星戗秘制鬲甚一‰习裂嚣枉畚翟埘制叫匦天陋划一<越醛筌然将案。刨瑟蒋祜掣挺水痞茛．墨醯星世摊爿抄罢S车秣熟议蹬卧州u熙磐星日墨<晕趟《饔罨霸昏*扑随删∞酲《扑痞■噬陋硝《t軎愀邈装专慧恹≮嵘芝蜷器冬暑荟挲眯冬警东 是蚕。嬉N蛋匣。崔镖喀俅砷鬈薹量掣5剐餐鋈霉耋i|||喜曼藤”：蚤《誊毯”n寸oHH”一”oonH寸HN_””寸noHInNoNHoInNN_o寸N-nNnH寸n寸寸o-nI"t"l_HNll"'lnon”oHno—l't"lNnon_nnm寸nlilr"lH寸n．nomNN寸nN寸HHn_nNHln”-_InNi,,i-I_Ho寸InnoN寸寸nnI,ir'lnN．nHonlli,"'lNHN寸nnHNon”NN寸N寸Nlt"'l寸”nNi,,i-IHNN．nNn寸nInll,"ltnHoli'l寸n寸onH寸ooo_n寸HNol"i"llnn”nn寸nnNInnHnNoN寸。寸”N寸on寸H—oIn_nnlnoNoo”nn_oNni't'l_NnInIn寸H寸寸寸N”oi,r"lni#'-tn寸寸Hnn_o寸N寸。寸lnli,"lo_寸NnNno寸寸”Nln_NHv、N_Hono”Hli'-Itn””NoH”Nl"t-i_nHn寸NoH”n寸寸NNi"t-io寸o_nonoH寸oonNoNInNN”Nli,"ln”NoNlli,"lInoInoln”．nInon寸毯簧长游霪S幕*瓣星仪秘潮n士莲一‰黧≤垦骞掣寸u辐≤糕≤粼棒碌誊籁《赫簿黎nu状罂仪秘NuJ刍餐倒面星越逆辐鲟零扑，秘墨g媳仅n∞尉貅离N∞慑富一∞丑璐《枉女丑删制吲皿穴陋刈一《瑙蒌赛越扑枣。越硭臀错噬越*藻贯．辱醭星§辩爿廿一辱S耳秣越仪嵇融州u寒掣J．星口墨<单耧《曝品霸岛*扑酶州∞酲越静痞h噗陋喇《．軎愀邈钗g掣扑．I巨 ：l瞬m‘o据N霉匝。侄谤莨林蹄鬈簧婆掣餐暴誊掣5剐餐越星黎吕拳≤柩辞纂譬≤nU收籁釜≤雾藿NN、u富巾纂耧≤U^逃鼠L掣囊器毯饕=-业r隧，函地星创器蜒状柬瑙警星硭蛊鲻暴寨掣藻，兽岔皋也辫寸N—oo”oH—no_”N寸。一oNoNo一寸oNonHNoNHolnnoHnoNoo寸寸N寸nnN寸寸nnNIn”nN．n_一ono寸n_n寸N寸|n寸一”寸_一In寸”nNHn寸_寸n寸tn”nNoNoHnN”NN”NoNln___n_nn”寸Nonn寸寸n寸NnInN寸。寸Inlntno寸n寸一Nn___一oN寸寸呐ln_N寸NN寸NonN_mN呐oNonNnNHoHoHn寸N__寸寸_寸oNo寸．noIn寸H一”InoN‘nNHo—n．nH_一寸寸_ntnnNnH”HNnNH‘n寸寸寸寸IntnnN寸ooNoNnNIn_n_nnHnln寸no一一InnInnNoNH一一寸Nn寸寸oHN寸oo寸Nnn寸”寸Noo_寸HH寸oHNnNoHnH寸寸lnNn”v、InNn”oNon”NoNo寸寸牮舞长外gS鬲*磐g议翠翻『J士甚一‰丑取嚣粗畚盂疆斟叫匦文陋喇一《毯硭尽葵将藻。越硭蒋掣醛越扑痞茛．兽醭g肇摊爿妒一膝S『吐求熟仪刁：}瞰制u露鎏g日墨<晕超《鼷票霸回长扑随删∞赛《扑茫h唾陋戏《捌制受¨釜毫囊R冬垛肇肇颦S拳圣挲联笔辎东 絮蓄。船N王匝。箧凛靛林蹄鬈簧萋掣5剐餐鲻垦瓤吝寒≤耱羹羹nU以籁釜≤蓑粼舀描=梃u富篓羹5王譬寓。蓑鍪撵毯藻荨兰隧，函杈星魁举蜒妖隶趟枣g醛盆鳝暴慕型藻，箬岔秘也爨n寸Nnono_寸Non—n寸。寸nHo—on_onHoNoo__N寸nnHNN寸_Noln—o寸oNnNnn寸ono”寸H寸HHoo寸ooNHnonon寸寸n寸寸lnInnNH”Holnn_oono-n寸NoNoInHN寸NN‘n”InH寸oHH寸_nNH．n寸寸一n寸ono寸N_”NHn寸H寸”nN寸lno寸nNH寸Nn寸HH__NHnHnn”In_HlnNHN寸寸o_o寸nNnNoInnNnHn”寸_N__no寸NNv、mn寸寸Nnn寸oNoN”n寸HNN寸。一o”寸Ho-n寸寸寸HH寸Inn寸一noNnN寸NHnHIn寸ononNHNnNnv．m4oN”_n寸寸寸寸onN一寸onoInNoH寸HInnoo—o—o”In寸onNHnHNoN””NNoNontnInN”oNInNoIn‘nnonIno”寸牮舞*瓣gSn士长扑星仪秘潮『吐蓬_【‰习嗽《粗畚墨娅锹吲匠状陋喇一《毯婪爵然扑藻。刨婪臀掣皑《静毒莨．善醭星世辩爿妒冥霉耳搽熟仪秘随删u零毒|J．g目5<晕艇《鼷冥霸昏长瓣酶州∞筌越扑藻-工唾陋喇《测制邈蚁g掣扑-I匿 u蚕：匣。据N窭匣。侄镍莨俅蹄譬蚕萋趟占斟餐鬟霍t萋鍪案毯藻霉之墓”：墨《釜毯曩蒙掣赫扑罂荟螽囊岔袋赴囊蕃蔫运-一一，、LE’∞桕’桶oN—InHN寸o_n”nn们寸寸价一-一ooHnn．noo寸寸N一”n一寸nn寸寸寸mNn—nonoo寸寸寸__n一_nNn寸”InH寸一一mH寸NHH一寸mo寸”oN_H_Innoo．n寸NH_N_寸InNdnoInm寸们lnnN寸In寸Honon寸o_Nm—N-_Ino_寸n蚺HNo_‘n”InN寸N寸noN寸．no_o”一NonN一”ne,Ionn寸lndn”InNo(-q寸寸寸oc,InonNonoNnN_NoH”NHn寸一on‘nnN”N_一HoLt-)HHn们N寸-noInoNn”non_NoIn寸Inoo_寸nHoHNnInIn(-4HInHIno寸HN”NnHmnmNn_nNoN寸o”一Hln寸In_n_寸n寸寸_mnNon(-4寸寸Nne,IHnon寸nnNn一寸n寸In_“寸一lnN”nlnNInNo价Nf．qNonNInNN“”olnNn”o口寸牮舞*静g器n士*咎星议秘制『吐龌一皿蒹≤垦拳柩寸u粲≤黎≤粼将状辜藕《fH柩#赵nu彩罂议智No幂赵一u习璐《粗畚星砸斟吲匦文陋刈_<趔婪筌纂游龚。毯婪督罐崔粼将痞茛．善醯星世辩爿伞冥Sn士粜越仪秘障删u罨挛g上堕S<晕超《餐妻霸昏*瓣酶州∞尽越静枣卜噻超喇《-軎制塑裟毫拦忪趔垛芒墨颦S％玺装※型犁莓 “墨：匾。嫱N王匣。侄凛靛{水蹄鬈薹量掣5副餐鲻星籁吕寒≤柩簿裁赵巡—、U彩餐蓑蒙≮将=棕u富"籁藉≤o“霎蚕薹蒸菡交薹毯器蛭状隶创露星醛蚕帮黎慕掣痞，箬岔掣电篓黍蓬鬲粪臻nNonHmo_nc,4oHv、o_oNHnoo”NNn”oln”nIn寸寸nNInNnNN寸NmoInHonN寸HnN_寸Nnd寸NN寸nn—Nn”寸lno寸H_lnHH_‘一p-j．nNonn寸oNHoo寸N_oo04HNno寸呐NoNHi=,-qN_一N寸HntnoNnN．noN寸”nH寸onmln寸nN04nNHo_Hn寸nN‘nlnNN”oo”nNo寸oo寸nHn04”__Hno,Ion寸NNn寸。寸n寸NH寸n”寸。寸H寸N寸寸_nInoo_寸c,4NHIn寸InnonH_HHn寸InN_n寸寸NNN寸Hno-_”寸oonn寸n_o”nonIno”o—o_HIn1tooIno寸。寸。寸nIno”ooInoNHon寸Innon寸oN寸nnonoHln寸。寸寸oo寸__HHN'nnNnotno”NoNoNInNlnoInNn价oInNIn．nNn”卜寸g黉*瓣星Sn士*静g仪秘潮『I士蓬一‰丑取≤粗武墨蛹锹嘣匝状陋馊一《倒凄醛然糖藻。赵凄擦辖噗越扣r{*莨．辱碘星肇择爿秘冥S配搽然仪错陬卅。赆鎏g上堕S<单黎砭鼷熏赠固长扑瞰州∞筌越静茫h噬陋嫂《．軎制邈蚁掣掣扑二匿 掣薹。嬉N王匝。侄凛絮林砷藿薹耋掣5尉餐籍垦瓤葛罄≤繇擗籁耧≤nU状蓬平蹙袤粼≮埔=状U惠m氯籍≤U芷娶赛。薯誊萋耋霪器蛭妖求剑富星篓盈鼙暴蒙型藻，箬彗叁也爨li"ln寸no寸H_nnInonI．rlNnonH寸。寸llt"lnmoItl寸_In”on-ndNH寸寸Nnn”H寸寸寸寸HomtnI．1"l_o呐n寸n-_o_HN寸noH寸寸HH”寸HnHoN—NNno—H寸oHNnI．f'ln寸。寸N寸nHn寸寸_一lnnNonIn_No_tn寸一nNn寸ooo．n”NN_lno寸HH_一。寸n寸nHo—ln”oNonInoo寸nNnNnNoNnHo寸寸m寸寸呐H寸nnN寸oHIn寸oNn寸onNnn．nH．no‘nN_N寸寸nInHnli'tHonoo寸n寸oo”N”ooNoo寸InHN寸“寸N_”In_一on一寸N_o-nnNo寸oNoln”o”tnNHNoNHo”HHo_nInItlon．no-一Nnli"lN寸NNInn寸No_”InnotnH”NnHoHNnNonoo呐In”o”NnNo”NI．r"loInIn”Inno∞寸篷嗣*扑gSn士长辨，g仪秘潮n士莲ld习璐《枉武墨拯锹吲匦R陋喇一《谜婪爵熟扑藻。瑙硭臀犟噗然磐痞茛．星醭星世辩爿妒罨S耳秣然仪秘卧卅u憨逛．￡日S<犁衽近鼷冥羁豳*扑酥州∞露熟将痞h嘤陋玻<娅斟塑装畜跫忪《垛芒鉴霉$拳基挲联笔警荽 “罴烈匣。据N王匝。毯糖靛林砷鬈蓑董掣5剐餐辎尽纂吝筌≤繇羹羹mU状餐坚蹙雾羹N讯。富耍羹5王霎雾茎蒸菡斌釜西器蜒状隶创富星醛笛鲟慕慕掣藻，箬岔袋缸爨”_寸nHH”oHInHoo寸。寸_N寸寸n寸寸Nn甘HInnn寸寸H-noInNHN寸H__”NN寸。寸lnNlnnoln寸No””oNN寸nnH寸寸NNnNnNHN_oIn寸寸nnv,．-4寸Nntn|n寸寸Hn寸”o一”N—n_InN寸寸N寸”o寸oNHN寸NnNn”寸寸”Hnn_n寸N_ooNno寸N．nInHon_nnoN寸oln寸No．nn．nN”NN”寸tnHoHnHN寸n_nnInnoNoHn”lnInoNn寸InHNlnoNv、_一lnHnNHn寸nInnn寸HH一__oHnoHm寸ononN寸In_nHo寸N寸o_寸NN寸n_NInNN_Nm寸NNHo寸n寸一N寸n．no寸寸v、onN．nHNHnlnn|no”nH．nInv．,-woHonNoNHm寸H寸v-．w寸寸n”o寸寸onoNo寸oNlnNN”noNInNoN”虮NoInIn—nNoNon～口寸牮舞*扑星S车*瓣星仪秘涮幕妪Id丑掣《枉畚卺娅锹叫匝文陋喇一《趟妻爵越扑痞。谜婪臀错噬辎粘藻靛．蜃醯星$辩爿秘冥Sn士群越仪秘戳州。寒逛．g口5<墓餐《饔一苌霸嘤长扑瞰州∞筌越静藻h噬陋嫂《．軎斟受杖嵇翠扑二慝 掣薹。据N王匝。埕谤警宦甄吕容≤搭辞蒎黎《—、U收籁釜≤蓑粼蟊蠹N补u富哆甄警《o_NnNH_一nn寸．n寸nnn_H寸In寸n寸oH”lnHInNo寸”o寸No_on”n—oH”nNo—oo寸NolnnH”HHNN‘nH—nIn寸Nn寸NnNnNmoHnHo_寸N_n寸寸一一NnNmNnHInn寸寸”一NoHn寸”InlnN寸Nln寸寸Hnn—n_oo寸nN寸no寸寸寸HInn寸oH”NIno”nnNnInH寸寸oNInnono寸Ho寸n__一HnHlnno寸HN寸HNoNonn寸Inlnn寸nIn寸寸nNnNInlnH寸寸nInnNonNnH__H寸NHH_nNnN-一nN寸lnontno寸HInoHnn寸Intno寸noNHNo寸InNnH寸nno—NoNonoH．nlnN寸。寸nonNN寸nlnNo”HHNnn_H_InnNonN寸寸oHnoNnN”NInNo”Ntn”In”NNonN—NNo”掣蹄器f星餐俅≮翠斟窝联餐一。牮舞长将星器耳长*星仪秘潮嚣甚乏赳，螺K，刨L，刨隧g器越o《鞲净藻寸∞越蒌裂面淫创碟臻蝽隶星鲟塞将，袋石g趟恹器碌警n∞雕扑茫N∞碌警一∞习掣≤桠武重疆斟吲匦武陋喇一《刨蒌察越瓣藻。毯蒌臀鞋噬越簪藻茛．墨醛窭蛏簿爿令熏器n土啭越仪袋随州u憨鎏星日S<单耧《鼷票霸昏*将雕刊∞尽《辨藻．上疃陋裂<珊锹邈裟言蹩钕越垛肇竖器S专套黟眯餐章东 “暴划匣。嬉N罩匝。毯壤靛林蹄鬈薹耋掣5剐餐藉垦糕吝罄≤柩辞纂籍≤nU收籁釜≤裘粼鲁震u奄巾黎鲻≤霎霉i蒸等0蓑”：虿瓠薹毯暴慕掣辈拂詈吾菇星碍箬趔忘《i蚕寒囊一，HL}∞樱。椒ono寸onNm一寸NHoo寸nd寸寸otnnoNHn寸HNtn寸nIn”Honn寸on_寸寸nO,IoNHonoIn”lnoIn寸NnH寸ootnnNInnoInnNoN_H—n一寸ooH0．1onHo寸H一寸寸寸o_一””n一寸n寸Hln寸寸HHInnH寸N寸n_寸。寸寸寸04寸一ln—n．n寸HHn寸tno寸nn寸o04寸”nnH寸寸nHNnN．nnNInno寸noH寸ootnHoC,I寸n寸_nN寸H寸o_oo寸N__寸NNn04寸In04‘nNHInHNo寸_寸寸oHNInn寸HHNoInn寸oo04no”N_H—NnHoHNlno寸04寸lnHoHH寸寸NNnln”NonH寸寸n寸o．iNono．ino寸寸NH”04n_nNo寸n—o04”寸寸Nc,4HnlnNN寸nnn寸HNoo”oNIn‘Nc,4NN”N””nc,4InoN呐NNv、nc,4N”N毯舞*扑星S『哇*瓣g仪秘剡『吐萎Id丑辎《枉女星卿制嘣哑状陋刈一《越婆爵越糖藻。毯．黜奄辚噗然*箕窝．兽碘g世辩爿妒罨Sn士样然议袋随删◇熙逛，星口墨<晕衽近鼷毒羁面*貅酶州∞爵越将藻．上噻陋蜊《．軎制遂蚁掣逍扑．I警 蠹霎《*蛐制媒川蒙爿匿。嬉N王匣。毪挺靛林砷鬈簧量掣5尉餐嫠垦燕吕$≤繇替鼎掣≤F、U收籁釜≤雾簧N扒u喜m燕挺≤o冀。寸NNnn寸寸nn寸HIn—lno寸一_一寸”mnNo寸HoNnoIn寸ondlnNHoNo寸N_N-nNo寸nm寸_H‘nn．nNtno寸No_寸寸oInoNo_NNnInoN寸HHoNHNn”InHoHo寸一Hn_nInN寸_HoN-nlno寸_oN寸。寸。寸寸寸n”HN寸一oH呐_Nnn寸寸lnNHN”Hn”寸lnHlno呐寸寸H_Hnon”NHNN—onNnH”寸n寸mH寸Hn寸q．--q_NnoN”nH寸nnInnoHn寸n—HH寸_nN寸nNnNn寸t"4HlnNn．n寸一。寸一nN寸nn_NHnn”N”HonHnHn”甘寸n寸nnoH—Nn寸on寸寸_nN_nInNoHNIn寸Nn”Inn-n寸Nt"4_not"4lnoo寸nonNoHomlnnoo—N寸一tnn”寸”N价oIn”NlnNnn”noNInoo”一”lnlnNo一”避嗣*扑星器鬲长瓣霪仪袋潮不篷一‰翅，怒瞬，毯。～，刨媾星酲辎寸《鞲静枣寸∞刨凄删墨星越诞塔蜒隶星辩举扑，秘面星燃仅器积吝n∞尉瓣窭N∞联富Ia习辎≤粒女墨勰斟嘣圃只陋划一《趟硭尽然释藻。越婪臀错篷攥*；崎靛。星醛星S择爿扣票Sn土样撼仪秘瞰Ho熙鎏震口墨<掣柩近饔冥霸回*貅随州∞试专燃长赵垛芝鹭霉$叁至黎联笔警1：：} 絮薹。据N窭匣。毯挺靛七j(蹄鬈薹鎏趟5剐餐籍星籁吕器≤鄢辞籁鲻≤nU姒粲蓑錾袋嚣N扒u富哆氟籍≤U芸霎霎薹蒸菡悠釜毯器蜒恹隶刨宣星醛笛鲟暴慕型藻，篓岔秘也誓毳薰∞恹柏oH”Nn”ooH寸N寸oNnHH”呐InoHnoNHoHnN__lnNno-一一N寸寸n-nInIn寸nHH寸。一NH寸Hn寸。寸ooNoN”NNnoH寸n”nonoo-nno_HnHNnHo．nnNnonNoInNHNo”HoNonN寸NN一¨e,lo_寸。寸N”HN”noo寸InnoH””寸odoN寸In寸nIn”HoHnNnn寸Nn”nlnoNHNoNon”HnN”寸寸oH”c-IN””HNoHInnHnNHN_ne,l__In””ot"lN”nNHNnHoo寸Nn_N寸nNN寸HNnNn_一oolnnNc-q_寸InN”NnHH寸lntnNn”寸olnoNHoo寸。寸n”NnHnHn寸n寸H_oInNnHIn_．nnN寸”NHlnHNHH寸nH寸NHo_InN寸寸”nnln”一”NnInN””NNo呐oNv、NC,lI'MInNn”oN遥舞*磐星SfI士*扑g钗秘潮耳蓬一‰丑取《粗武翟删制吲匠状陋嫂一《趟莲筌越扑藻。毯瑟臀罐噬越瓣痞靛．兽醭星世辩爿秘犀SfI土啭越杈袋馘州u霹逛星口≤<单柩适鼷罨霸匝*扑眯州∞爵越静藻．上唾陋喇《．軎制邈蚁秘掣磐二匿 川熹爿匹(≥据N窭匝。侄棵靛{水蹄譬簧萋掣5尉整越星糕吝筌≤柩馨赣耧≤nU收籁运≤菝划舀糕=积uS哆燕鲻懿U^霉囊囊||l|}∞鞭星型举蠼碌散燃毫星醛昌餐暴寨型能_--I-，鲁岔拿七誓蓁{|||∞仅稍oo寸onHN寸nnn寸ln—m寸nNotn-一Nn寸一”Hnono寸HNnNno寸一寸寸Non”lnonon寸o”nnonNoNo寸寸o_N寸nnHnn“H—o—nn—oNH寸ono寸HNon寸寸lnoo寸寸_N寸寸HNn寸NNHnNoHNHInH”HNHNo寸寸on寸n寸寸．nN_HHnHnInN-n_v、Inn__nN寸HNtnndH_寸n_寸nnH¨nNn寸N_N寸NN寸ln寸n__oN‘n一寸寸NHo_N”寸Hn一一寸。寸寸N呐”o—H”N寸on寸Nonon—oHoN—n寸”oNo寸C'4noNIn寸NoH寸寸”_Nnoo。H“N“n寸n寸。寸tnnHH寸nn寸nNnNo寸H寸一n”o寸”寸N寸nHnonn”寸noo寸。寸N寸nnoNoo．nNc-4n”n价NNc,4Nononc,4”们oon寸ng舞*扑gS鬲*静星议嵇潮n士篷IdfT7辎《枉去墨_害愀嚼匠农陋刈一《趟婪器熟籽藻。毯蒌臀掣皑然外．1谁莨．善蘸星$辩爿令罨S鬲摧越仪秘戳删。飓鎏g口器<荦耧《鼷罨霸豳*扑酶刊∞露越辩枣b唾阻域《涮斟邈裟畜燃长≮垛芝氅睾S拳奎挲醮警辎1：尘 翟蚕。据N窭匣。毯姆莨林蹄鬈簧萋掣5尉餐籍星糕吕寒≤耩辞鼎黎≤nU收燕釜≤菽粼§嚣Nk卜、U惠哆氯鲻≤U芷譬饔L型篓聱鏖藻菡《釜毯S蜒恹求蜊奄寝廷盈鲟暴慕掣藻，鲁岔牮血堡篓刨譬嚣譬∞收霜寸一-nmoH__寸”NN寸NH寸oN寸”InnoHNn寸”oN_NNnon寸Hn_寸oH”oN寸H寸nNH寸寸n”寸NmHN寸nn寸NNoNln”寸Hm寸HnNoHNnHH一寸oNn”oNoo寸NH”NnHNnn寸_InnNInoHInonIn寸n寸寸寸onInNn”nnN寸__tnnonNnoo寸ln-n寸ooInnNHInN寸nHN寸In寸nno_一nNln寸Nn寸_寸nonln寸寸NIn寸”寸寸nN寸。寸_oonoHN—InNHoHn一”o寸”寸N寸寸”NoN寸寸Hnn”一寸nn_onH”L4r-、nNN一寸Hon寸nnn-n寸n寸HNHc-iN寸”N”n寸nnN寸HoN寸”oNnIn”o寸HHNnHnHno寸寸lntnNHln寸onHInoo'nNnHnonoN”In”on”Inc-I”NInNo”oon．noc,INo”nnNNg舞*扑星器幕*静g仪秘剃幕蓬一‘习裂≤枉畚长．害似嚼匦状m喇一《越莲荟越扑枣。毯逆蒋犁噬越壮藻靛．蜃醛g世辩爿啦熏SfJ士琳越仪秘雕州u寒鎏星口5<晕衽《鼷熏霸昏长扑酞删∞酲然赫茫．上噬陋刈《-軎制邈蚁袋掣*．|匿 ，：‘匿n≮o嬉N王匣。侄域茛林曲鬈凳耋掣槎菇奎掣占斟餐U_警察。萎黎聱囊藻菡《釜毯g蜒梃隶刨毫g廷昌鳝暴蒙掣藻，箬彗嵇t譬蓑篓∞恹礤寸nn”ooN寸。寸N_寸oH—Honc,4n寸nNon”寸Nn寸n寸o．n,-qn_寸noNo寸N_o_n．n蚧N一”n—H寸No寸nnN寸InHIn寸olno寸寸NnoNoH寸o(--4寸lnoHNo_HN寸nonInNonIn寸nonIn_寸寸”no_In”一nnn”olnnoIn寸寸nonHoc,IN_In寸Inno”Nonc,4o寸,-wNn寸InNon”oN-nnoIn寸nNHIn寸Inn”InHoInHNHNn寸HoIno寸_Hc,4NnN寸n寸寸nnNnoN__NnlnnInH_oNo寸doHnNHonn‘n寸o”noIn寸Ntnn寸nnoHnHInNln寸_nn寸寸NoHInoNHInoInnHnHon”nInHnInHH．n寸nnn寸一oHNnHN寸nlnH价nn_onoo寸n寸nHoo”_寸oNoNc'4Nno．nN”Nn”or"4””InN-no”NnoNo口nnN牮舞*将星霎鬲*扑～星仪秘潮fJ士篷一皿繇≤量謇掣寸u糕≤燕≤粼将状富燕≤舔辞謦nu状罂仪留Nu而楚习取≤枉武墨．軎似吲匦叉陋刈一《刨凄舔然龄枣。瑙婪臀鞋噗《龄藻靛．墨醭娶世尜爿妒罨霉fJ士样弼议嵇黔删u熙逛．g日5<犁越哑饔犀骚昏*扑诽刊∞誉越静茫一噬陋刈《=冉制邈装毫囊钕赵垛芒孽颦$轰耋裂联冬晕东 划器=匣。嬉N王匝。毯授靛俅砷鬈簧量掣占剐餐衽星藕吕容≤柩萎羹—、U状籁釜《雾薹N讯u鑫m籁柽≤6窭萋霎鎏萋g蜒状隶魁富星瑟昌辩暴慕型藻，罟笛黎也爨nHoNH—n寸nH-一．nn”寸Nn一寸mNN寸n”寸oNo寸N寸_寸ll,q"lnIn寸InI"i"l”寸寸ononn寸HNn_Hn_lt"lli"lH寸_o寸寸H_nNonn寸寸N_一l,,eIHi,．i,-ionHoll"l寸lnollt'1．n寸寸寸寸”nnHnoNHoH寸”nnli'lNoNo寸otnnIn_oo”no_nI,i'lNnHolll"lIn”n寸_NH寸noIno”Nn”o寸Inon”N寸”nn11．1"loHo寸寸H寸nnNli"'l寸。寸InHH寸NoNlnoNHoNHli'lNononH寸llr"l寸olllr"l寸no寸。寸n寸o_”Nn—In寸寸n寸”no”寸NN寸H寸n寸价寸寸N”HN寸ooNo”寸呐lt'-iInoHo寸i．1f'li-i"lNolnntnllt"l寸InHnoNmnn”n寸nNH””oNon寸Inon‘nHnlltl寸InnH”ln寸寸nHoH寸omononoN—InNI,l"lNn”no”一NoInI,l"lN”NNtnli"lN卜”寸Ng舞*龄星Sn士*静星仪翠剡0士遂一皿丑裂≤枉春霞譬|=制嘣皿R陋喇'【《型婪饔粼扑藻。越硭臀爨噗然扑；*莨．善醛g世辩爿秘畏S耳群熟议秘戳科u熙鎏g口5<掣衽《贯冥罂嗵*扑酶州筒悬悠辨凄．上唾陋嫂《班锹受蚁掣冬扑．1誉 掣茎。据N王匣。侄诬茛俅砷鬈薹萋掣5剐餐譬冒L蓑耋整毯藻荨-．池I"隧，函嫩g刨瞪蛭状柬型言星硭虿餐暴篆掣藻，罟岔智七签墓毯篁螽董∞校孺固裂穴≤阳粒习喇六；翟娜锹皿算oHnInn寸N”寸N寸on”oHH价n寸nHNn．nInoHn”onlnn”Nn寸nN_nNnoNH_nN寸N—mNon寸o”Ino寸H寸”no”HoNnHN”nIn_H寸N”寸nnH蚧HnNnNo寸oo_HtnIno”H—n寸nnon—NnoInotnnNoN—ooNg舞*扑星S耳*淞～g议秘蒯鬲基．1‰黎巡星容翅寸u纂≤籁≤粼榛谋害巅≤fH柩辱毒黎nu状罂仪留Nu示柩一。赵碟尽纂扑痞。趔凄臀错噗熟淞，1谣靛墨搂星世辩爿令熏雾幕水然仪留雕州赆挛g口5<晕籍《鼷罨霸回长将戳删∞『=冀船锹邈 科技成果奖励评价指标体系及方法研究作者：郝国杰学位授予单位：湖南大学本文读者也读过(10条)1.谢果.孙延一.XieGuo.SunYanyi综合实验在培养独立学院学生创新能力中的应用[期刊论文]-中国电力教育2009(24)2.陶遵丽.李南荣.陶遵菊.乔莉浅谈提高科技奖励申报材料质量的技巧[期刊论文]-山东水利2004(7)3.赵宗辽.ZHAOZong-liao中医药院校申报科研项目状况分析[期刊论文]-技术与创新管理2008,29(5)4.朱炯哲基于UCMs和UML的评审管理系统分析与设计[学位论文]20055.张洪铭SOA架构研究及其在智能化科技评审中的应用[学位论文]20086.莫建霞案例教学法在《中药综合实验》教学中的应用[期刊论文]-中医药导报2010,16(9)7.胡畅霞.刘晓星.韩立华.石玉晶.HUChang-xia.LIUXiao-xing.HANLi-hua.SHIYu-jing科技奖励评审系统中专家身份认证功能的设计与实现[期刊论文]-石家庄铁道大学学报（社会科学版）2010,04(4)8.黄小珍.黄毓文.冯世容.袁凯瑜顺利通过科技奖励申报形式审查的几点思考[期刊论文]-科技管理研究2003,23(3)9.邹琦科技成果奖励评价方法研究[学位论文]200710.关月英医学高校科技成果报奖工作中的问题探析[期刊论文]-新疆医科大学学报2007,30(9)本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1723014.aspx
