大学排名的制度分析

　　在美国、英国等发达国家，给各个大学排名是普遍的做法，它可以鼓励先进，鞭策落后，还给消费者选择学校以参考资料，有巨大的社会效益。在西方国家，大学排名评估，基本上是由中介机构负责的。中国的大学排名，始于1999年7月，那时网大（www．netbig．com）与《中国青年报》联合推出了中国第一份从消费者角度评估的中国大学排行榜，在社会上引起了很大震动，也使各高校围绕大学排名开始了悄悄的竞争。2000年6月，网大与中国青年报再次对中国各大学进行排名，又引起了各方面的关注，即有孩子即将上大学的家长开始据

　　一、大学评估的标准、规则和程序

　　制度分析学者一般都认为，制度指的是支配公共或私人行动的基本规则，不同的规则构成不同的制度安排。大学评估要具有公正性，关键在于评估本身具有公开的、可供社会讨论和检验的标准、规则和程序。其中标准是指决定指标体系的价值取向；规则是指产生指标体系的方法技术；程序是指具体实施这些方法技术的过程。在此，我们将运用制度分析方法来分析：

　　网大评估指标体系的是怎样确立的，这涉及到将个人的偏好集合为可操作性的规则和程序，并据此获得评估结果，揭示集体选择和操作层次的规则的利弊。

　　评估结果对有关各方产生各种影响，特别是对人的激励作用，及政府、社会团体组织与个人间在这一活动中的交互方式，以揭示制度规则的作用及设计相应的制度安排的探讨。

　　一般来说，评估指标体系的测算反映效率和效用。效率是指投入产出比，表明产出数量及产出的单位成本。效率易于理解、测算，但是即使测算出引入瞩目的产出却可能是在效用方面不尽如人意的。因此，还需要在效率评估的基础上评估效用。效用是指产出的质量或绩效，效用既难以定义也难以测算。例如，根据学生的升学和就业人数指标测算教育效用，某一专业的招生人数和升学（进入高一级学位就读）人数都很高，因为学科盘子大，就业人数也不低，因为学校牌子响，但可能学生很多都转了行。显然，这种状况显示该专业领域处于结构转型的需要，虽然当前没有发生危机，但应及早调整专业方向与口径。可是效率指标测量却不能显示这些状况。设计效用指标比较困难，但仍然需要有效用指标，例如，国外对教育的评估就都很重视学生的就业状况（不仅仅是就业人数）及职业发展前景。

　　网大大学排名指标体系(详细情况见http://202.99.23.201/gb/content/2000-06/09/content_22816.htm)主要包括如下指标：学术地位（博士点、硕士点、重点学科、重点实验室）、学生情况（新生情况、研究生比例）教师资源、物资资源（师均科研经费、生均占有藏书量）等，这些指标反映的是各高校资源占有现状、资源投入的条件状况指标。其他如人均论文、人均专著、升学率与就业率是反映产出的指标。学术声誉可以视为一个笼统的质量指标（全部学校一个排名序列的情况下，如何判断或比较清华大学与中央音乐学院或中国医科大学的“学术”声誉？称为“学校”声誉更贴切些），但是由于评估专家的比例代表性问题（见下面的分析），这个指标数据的获取和作用都存在问题。另外两个质量指标科研成果和教学成果获奖不知为什么没有权值，这意味事实上这两个指标不计入总分，奇怪的是在指标体系的说明文件中也未见到对此的解释文字。

　　对大学教育的质量评估应该采取哪些指标？这是一个非常困难和复杂的任务。这在技术上是很难解决的。对此，网大采取了替代的办法，即以选择程序来决定指标体系，通过选择部分学术界和教育界人士应用德尔斐法的技术过程来确定标准的指标体系。

　　在回答对排行榜中有关问题的疑问时，网大说“这次排行榜在评价指标及相应权重的确定上采用的是德尔菲调查法，每一步都非常公正和正规。”这表明，网大特别推崇德尔斐法技术方法。这一判断是存在问题的，因为德尔斐法或任何一种技术方法都不能保证复杂系统结果的公正性。

　　对这一问题，人们完全由理由质疑：对教育的评价标准的确定是否只应由学术界和教育界的专家来决定？假若是的话，应由哪些类型的专家来确定？

　　对于第一个问题，若把教育当成一种知识性产业，从供求关系来说，不能仅仅把发言权分配给生产方，产品的需求方应有重要的发言权。从学校作为提供服务的一方来看，教育消费者也应有对教育评价的重要发言权。社会的发展和进步使得大学不再是精英教育，国家也不再是精英治国，对教育的评价应该通过有效机制体现反映这些偏好的最优（或优化）加总。

　　对于第二个问题，假设在目前尚未具有有效机制能够用于反映全社会范围偏好的最优加总，而只能仅仅选择专家确定标准的情况下，也还要回答这些专家是否具有代表性？网大的说明是“在进行第一轮调查时，我们充分考虑了调查对象的代表性，依据“分层抽样”的原则，向具有代表性的115位专家发放了问卷，专家中大部分人是中国高等教育评估研究会的成员，同时也吸收了一部分大学校长、教务和科研部门的管理专家和国家教育行政部门的负责人。在第一轮调查中，为了使各位专家对目前国内外大学排行进展情况有一个大致的了解和对比，我们在问卷后面附了6份背景材料，请专家参考后根据自己的意见确定20项合适的评价指标，他们既可以从我们提供的参考选项中选择，也可以提出他们自己独到的看法。…在第一轮问卷调查中，共收到55份反馈问卷，…根据自愿参加的原则，有52位专家愿意参与整个问卷调查工作，自愿参与率为45%。对于回复率较低的原因，我们分析主要是：问卷邮寄地址不对，问卷没有寄到一部分专家手里；一些专家的工作单位或工作岗位有变动，他们没有能够收到我们的问卷；一些专家对排序有不同的看法，所以不愿意参与此项工作。至于每种原因造成不回复的人有多少，我们没有做过专门的调查。”对于网大的做法，参照其回答，我们也可以提出如下问题：

　　分层抽样与集团抽样是不同的。在分层抽样中，观察单元就是抽样单元，即感兴趣的总体就是抽样的对象。但是这要求能够识别出构成总体的所有元素（全域）及个体单元。例如对某城市就业人员的收入进行研究，则该市所有就业人员就是感兴趣的总体，其中若按照体力劳动者、工商业人员、专业技术人员和公务员等分类，就是抽样分层，然后从不同的层中分别随机抽样。显然，上述方式抽取的样本的设计方法是为了能够很好地代表总体的性质。这是基于对整个总体中元素识别的可靠性和对分层变量信息的适当性，即不可以因分层漏掉总体中的部分。

　　在大学教育评估这个问题上，情况就复杂了。因为难以确定对象总体，即确定能够或应该参与评估大学教育标准工作的人员的全域，如上面说的，应该由谁参加还是个问题。所以，实际上无法应用分层抽样法。除非认为网大的专家名单即是这种总体。但是网大的专家名单只不过是该对象总体中的一个部分，对这种在部分中分层抽样的方式称为集团抽样，即以选择的集合代表感兴趣总体。显然，其代表性是有疑义的，只不过是一种权宜之计而已。

　　网大做法的缺陷是，虽然评估人员的专业知识技术水平很高，但在全域中及集团中的代表性很差，特别考虑到没有参加的人员中很多是对评估方法有不同意见的人员。所以，即使网大认为他们抽取的专家在该集团中具有很好的代表性，按比例代表各种类型专家（各种学科领域、工作类型，……等等。），由于所抽取的专家中只有45％的人员参加了评估活动，这种比例代表性也被破坏了，因为实际参加的人员即使在网大认可的专家中仍然是少数，而且不符合预定的比例，因而不具有良好的代表性。

　　德尔斐法方法本身具有缺陷。从决策的角度来说，德尔斐发法是专家主观定性决策为基础的，它是在缺乏客观定量数据时或者研究的问题有特殊性质难以量化时所采用的方法。

　　应用此方法所获得的成果的质量要依赖许多方面的条件：专家的选取、构成；主持研究的人给专家提供的背景资料的客观性；以及函询调查表的设计的质量。而这些不仅依赖对所严谨项目的深入了解和把握，也需要客观条件的配合，如信息资源的可靠性。因此德尔斐法的科学性并非是不证自明的，而是需要进行仔细和审慎的考查和检验。由于德尔斐法在本质上是一种趋同排异法，它把不同意见排除掉了，所以得出的结论的代表性是有局限的。