Die Methodik des Handelsblatt-Rankings VWL

Evaluierungen von Universitäten und Professoren sind inzwischen so verbreitet, dass der Schweizer Ökonomie-Professor Bruno Frey schon eine Streitschrift gegen die „neue Krankheit Evaluitis“ verfasst hat – und das, obwohl gerade er sie nicht zu fürchten hat. Frey liegt mit seiner Forschungsleistung im gesamten deutschsprachigen Raum ganz an der Spitze. Die Budgets von Universitäten und Fakultäten hängen immer öfter von Evaluierungen ab; und die Karriere aufstrebender Forscher steht und fällt mit der Bewertung ihres Outputs.

So stark die Evaluierungen beachtet werden, so vielfältig sind die angewendeten Kriterien. Besonders fatal: Die bisher umfassendste regelmäßige Bewertung ökonomischer Fakultäten in Deutschland, das CHE-Hochschulranking, kam in der Vergangenheit zu Ergebnissen, die denen internationaler Untersuchungen mit deutscher Beteiligung diametral gegenüberstehen. So kommen im CHE-Ranking der VWL-Fakultäten Bremen und Hamburg auf Top-Plätze – in internationalen Rankings schneiden sie dagegen deutlich schlechter ab als andere deutsche Universitäten.

Der Grund liegt in methodischen Besonderheiten des CHE-Rankings, die nicht den in der Disziplin gängigen Evaluierungsstandards folgen. In der Volkswirtschaftslehre werden heute – auch im deutschsprachigen Raum – die Publikationen in international beachteten Fachzeitschriften zum Maßstab für die Forschungsleistung genommen. Dabei werden die einzelnen Journale in der Regel nach Renommee, Einfluss und Selektivität des Auswahlprozesses gewichtet.

Das CHE-Ranking dagegen zählte lange Zeit nur „nationale“ Beiträge in heimischen Zeitschriften, Sammelbänden und sogar Diskussionspapieren. Nach Ansicht von Heinrich Ursprung, Ökonomie-Professor aus Konstanz und in Deutschland auf dem Gebiet der Forschungsevaluation führend, leidet diese Methode entscheidend daran, „dass keine vernünftige Qualitätsgewichtung des Forschungsoutputs vorgenommen wird“. Inzwischen hat das CHE auf die Kritik teilweise reagiert. Bei der Neuauflage des Rankings betrachtet es neben den „nationalen“ nun auch „international sichtbare“ Publikationen. Darunter verstehen die Uni-Evaluatoren Artikel, die in den rund 800 in der Datenbank „Econlit“ erfassten Zeitschriften erschienen sind. Allerdings: Eine Qualitätsgewichtung nimmt das CHE nach wie vor nicht vor.

Das Handelsblatt will mit seiner Evaluierung der Forschungsleistung von Ökonomen im deutschsprachigen Raum erstmals eine umfassende Bewertung nach internationalen Standards anbieten. Deshalb wurden nur Zeitschriften in Betracht gezogen, die einen qualitativen Mindesstandard erfüllen – insgesamt 182 Journale. Die Zeitschriften wurden mit abgestuften Punktwerten versehen, die widerspiegeln, wie stark sie in der Fachwelt beachtet werden und wie schwer es ist, einen Aufsatz darin unterzubringen. Bei der Gewichtung der einzelnen Journale orientierte sich das Handelsblatt an zwei etablierten europäischen Journal-Rankings – der „Tinbergen-Liste“ sowie dem Gewichtungsschema der beiden französischen Ökonomen Pierre-Philippe Combes und Laurent Linnemer, die im Jahr 2003 im Auftrag der European Economic Association (EEA) ein Ranking der führenden europäischen VWL-Fakultäten erstellten.

Im Kern zählen Combes und Linnemer, wie viele Publikationen ein Forscher im Betrachtungszeitraum in Fachzeitschriften veröffentlicht hat. Dabei zählt nicht jeder Aufsatz gleich – sein Punktwert hängt von der Qualität der Zeitschrift ab, in der er erschienen ist. Die Benchmark im Handelsblatt-Ranking bilden fünf ökonomische Top-Journale – der „American Economic Review“, „Econometrica“, „Journal of Political Economy“, „Review of Economic Studies“ sowie das „Quarterly Journal of Economics“. Ein Artikel aus diesen Zeitschriften ist einen Punkt wert. Artikel in den 177 anderen betrachteten Zeitschriften bekommen zwischen 0,67 und 0,2 Punkten.

Eine Alternative zu diesem Ansatz besteht darin, für jeden Forscher zu ermitteln, wie oft seine Aufsätze von anderen Ökonomen in deren eigenen Arbeiten zitiert werden. Dieser methodisch gleichwertige Ansatz wurde nicht gewählt, weil die entsprechenden Datenbanken für eine umfassende Evaluierung nicht zuverlässig genug sind. In Einzelfällen können die beiden Ansätze zu recht unterschiedlichen Rangplätzen führen, weshalb die Handelsblatt-Rangliste – insbesondere in Bezug auf einzelne Wirtschaftsforscher – nie den detaillierten Blick auf sein oder ihr Schaffen ersetzen kann.

Auch die Festlegung, wie mit Veröffentlichungen in Zeitschriften aus Nachbardisziplinen umgegangen wird und wie Punkte auf Mehrfachautoren aufgeteilt werden, hat Einfluss auf die Ranglistenplätze. Die Handelsblatt-VWL-Ranglisten werden künftig regelmäßig aktualisiert und sind im Internet zugänglich.