大学排名的制度分析(2)

　　补救的方法是应该采用定量的方法与之配合，并对德尔斐法获得的指标体系进行数据分析，由于网大指标体系中的数据都量化了，所以是可以应用这些补救方法的，从而可以采用定性与定量相结合的方法确定指标体系。网大的指标体系虽然包括定性和定量的数据，但是在指标体系的确定中是应用德尔斐法定性获得的，主观随意性较大。而定量方法能够弥补这方面的不足，筛选并检验出能够提供较多信息的指标变量。因为当有客观数据时，如果反复观察到某种事实，则一种已知的结果会以确定的概率发生，这是不以人的意志为转移的。

　　对应用的技术方法的检验。由于网大的指标体系与权重的确定，是采用德尔斐法定性得来，受所选的专家和所设计的问卷资料的局限性较大。所以更需要对指标的作用显著性和总体效用进行检验。实际上任何一种严肃的技术方法都需要进行某种可靠性检验，专家身份或技术方法本身并不提供这种保证。德尔斐法被广泛应用在预测中，应用人员可以根据预测结果对其实施效果验证以进行不断调整使之完善。例如，将选举前行的预测与其后的结果进行比较研究，可直接验证所实施的德尔斐法的可靠性，并可以相应调整指标体系及德尔斐法的专家选择、问卷设计技术等各方面的水准。在评估指标体系的确定中或应用后，应该采用多种技术方法，以验证效果，弥补缺陷。

　　对数据波动的解释。网大没有对其两年间数据的剧烈波动进行任何分析和说明。只是表明这是由专家得出的客观结论。这种观念本身就是有问题的，体现了网大对专家和技术的迷信。在科学领域，任何人的工作都需经过验证才能被认可，其身份不起作用。

　　比较1999年和2000年的数据可以看出数据波动的状况：1－10名平均名次上下变动在1.1名次；10－20名平均名次变动4.9；20－30平均名次变动5.4；30－40名平均名次变动13（！）；40－50名平均名次变动12.2。这么剧烈的变动发生在一年间是难以置信的，并且也没有证据证明在一年间我国高校的状况发生了如此大的变动，除了并校以外，但因为指标显示的是高校合并前的状况。因此只能猜测这种变动是指标的变化所产生的。

　　任何一个复杂系统的评估指标体系都不会是尽善尽美，因此必须不断进行改进。所以指标的变动是正常的。然而一个功能良好的指标体系，在指标变动的同时系统总体需具有一定的内在稳定性，才是可靠和可信的。也才能在现实状况发生重大变化时，呈现出数据的剧烈波动。形象地说，如果把高校教育自身的状况和评估指标体系比作风和水的关系，应该是风起波兴，即高校的变化是前因，指标的变化是后果。如果无风三尺浪，则干风何事？

　　此外，存在着其它原因引起的波动，但如果不能说明数据的波动是来源于何处，这个指标体系的功能本身就没有经过科学检验，不足以证明技术上的可靠性。换言之，科学技术方法作为一种工具，要看怎么用，并且仍然要经过验证，才被认为其结果也是科学的。

　　关于于可比性问题及按专业（院/系）排名的建议。网大排行榜的明显缺陷是，文科大学劣于理科大学。这一判断显然是荒缪的，自然学科和人文社会科学学科之间没有等级优劣。那么，网大是如何来确定理科优于文科的呢？这是网大迷信德尔斐法和专家判断的结果。网大说，“这次排行榜在评价指标及相应权重的确定上采用的是特尔菲调查法，每一步都非常公正和正规。…其中的每一个数据都是经过了这几十位专家与学者的评估，因此在排行榜中，理科院校名次优于文科院校是客观评比的结果。”本文认为，理科优于文科，本身就是错误的，如果说得出这样的结论，那么得出这一结论的过程和方法本身就存在问题，即使号称每一步都非常公正和正规，除了号称之外，又有谁信呢？

　　出现这一问题的根源不仅仅在于评估方法与人员的缺陷，还在于网大评估标准体系过于简化，不能描述不同院校的复杂特性对大学教育评估。单一序列的排名是对太复杂的任务采取太简单的做法。例如，科研经费收入方面，社科项目和自然科学项目的拨款数额基数不一样，此外社科领域在吸纳社会资源的数量方面也不能与自然与技术学科相比。所以简单以人均资金数量作为衡量标准是不适当的。此外，还有指标体系中的重点实验室，由于社会科学的实验可能是以社会单元为对象的，是在社会实践中进行的，如民族学等，因而也不能与自然科学作简单数量类比。还有，对社会科学和自然科学的专著的不同计分办法：自然科学一部专著12分，社会科学一部专著1分，网大只说明采用广东管理科学研究院《中国大学评价》课题组1997年专家咨询结果，没有说明具体算法和理由，这也是不能说明问题的。

　　网大在2000年发布的排行榜中声称在增加可比性方面采取的两个措施是：按照重点大学和非重点大学，设计了两套评价指标体系；在重点和非重点大学两大序列中，又分别按照国家的标准分类，对大学进行分类排行。但实际上是，其指标体系仍然是一套，只是对重点和非重点在几个指标的权重方面分值不同；而分类排名没有体现分类指标，只是在总排名中根据分类分别排名。这些都是非常简单的办法，不能对不同的学科、专业的特征作出描述和比较。

　　因此，进一步的改进应是向国际做法靠拢，采取按专业院/系分别排名的方法，例如按照计算机学院、医学院、商学院、法学院、工程学院、数学系、公共行政管理系…等等，分别评估的方法，在不同的类别中应该有某些指标反映专业特性。

　　事实上分类排名的数据并非不可得。教育行政部门对学位设置、学生招生和就业工作、科研评奖、科研基地申报等方面的专业管理活动近年来日趋公开化和信息化，形成大量的数据信息。此外，也可以通过严肃的科学方法抽样调查获取数据，因为如果按照专业院/系分类评估的做法实际上更易于获得客观指标和数据，而不用较多地依赖专家的主观意向采用笼统的方法进行判断，因为可以有各种不同序列的适用尺度衡量各种具体的情况。例如，由相关领域专家给相关领域院/系，如医学、法学院的学术状况和学生情况作出评估要比笼统地请所有领域专家给所有大学的学术声誉统一打分要容易的多，也客观的多。

　　最重要的是分类评估能够为大学教育的消费者提供最迫切的信息和具体的指导，也能够激励大学在全方位展开竞争以形成百花齐放的局面。有人为名牌大学的地位辩护说学生所学专业并不重要，而是就读的学校更重要。这种说法充其量不过某种情境下的一种说法而已。社会进入知识经济时代，大学向普及教育发展，按照一个等级序列形成的少数几所排在宝塔尖上的精英大学垄断资源、胜者通吃的局面不符合世界发展的潮流，在形形色色的大学中的许许多多个学术中心百花齐放、百花争艳的局面才是高等教育的繁荣！

　　二、大学排名服务的制度效应及其改善方向

　　网大提供大学教育评估信息服务以特别的影响方式牵动方方面面，从投资、管理到消费各环节：从教育消费者和投资者（学生及用人部门：企事业、政府）、提供者（大学）到管理者（政府及教育行政部门）；它使得大学近年来激烈的竞争更趋白热化；它对成千上万“购买和消费”大学服务和产品的“顾客”的选择发生影响，导致资源的配置和流动发生变化。下面，我们将用制度分析的方法，分析大学排名评估活动本身所隐含的制度奖惩规则，在这些规则下各个方面可能作出的反应、活动的大致空间，探讨这些效应的积极和消极效应，并探讨改进大学排名服务的可能的制度改善方向。

　　中介组织做大学排行榜，实际上是在为社会提供教育信息咨询服务，这打破了政府教育行政部门独自掌握和发布信息的局面，是体制上的重大突破。当然，其突破程度也不应该夸张，因为打破了政府垄断，并不意味着完全取消了垄断，网大做大学排行榜，现在也仅此一家。在这种情况下，购买和消费教育产品的顾客只能依据网大独家提供的信息，当网大提供的信息有误时，其产生的误导作用也是不可忽视的。对于网大来说，如果缺乏适当的开放性的机制，或者说面临其他评估体系的挑战和竞争，而缺乏积极性去进一步提高评估服务的质量，那么其效应即使是轰动的，也很可能只是短期的。

　　大学排名，使得名次在先者受益，而名次靠后者受损，其刺激作用巨大。相应地，各个大学也会对评估作出各种反应，并采取行动。在适当的制度安排下，这可以鼓励先进，鞭策后进。但是如果缺乏适当的制度安排，很可能导致许多消极的激励。比如在目前只有大学排名而缺乏系统配套的制度安排的情况下，有的单位很可能会做一些形形色色、或明或暗的贿赂活动，请求权势的游说，直接间接参与评估活动，以各种途径影响排名过程，从而使排名有利于自己。各大学内部也可能根据评估指标体系玩弄数字游戏，想方设法提高指标有关的数字。行政学家的研究已经证明，任何一个单位，当其以提高指标数字为任务中心时，它的工作质量必然下降。这是任何一个评估指标体系都难以避免的负作用。在此，从极端角度来说，任何一个量化指标体系都是不完善的，都不能过于认真。从实际角度来看，各个评估指标体系不完善在程度上有差异。不完善的指标体系副作用较大，而比较完善的指标体系则少一些副作用。当评估指标体系具有较严重缺陷，或者当其作用被不适当地扩大时，产生的不当激励会比较严重。制度演进的规则是，当不当激励没有被及时纠正或缺乏有效纠正机制时，就会形成稳定性的负激励机制。一旦负激励机制形成，就很可能难以改变。因为许多处于有利地位的人员从中受益，而其他人也因受到刺激而想加入受益者的行列，再想要改变它时会打破利益格局，因而会遇到非常大的阻力。不良机制就象是有生命的怪物一样会自我繁衍、自我保护、自我变异，极其难以纠正。

　　大学排名对各个方面都有巨大的利害关系，在这种情况下，各个方面都可能会投入资源，来进行各个方面的干预，因此网大大学排名一花独放的局面可能不会长久，除了国家教育行政部门会发布自己的管理信息外，其他信息咨询服务机构也会加入这项影响巨大的活动，甚至教育研究机构也会直接或间接加入此一行列，所有这些部门或机构都具有技术和信息资源方面的实力与网大抗衡。这是正常的，对于缓解教育质量信息的稀缺性是有利的。但是，接踵而来的问题是它们之间会形成怎样的关系？对消费者会产生怎样的影响？显然，多个供应单位参与服务会有利于竞争，但是如果缺乏适当的制度机制，它们之间很可能会形成恶性竞争的关系，各个方面都采取种种策略行为，或者因私利的驱动提供假冒伪劣的教育质量评估信息。