Zeitschriftenauswahl
Die Auswahl der Zeitschriften, die für das Ranking relevant sind, wurde deutlich erweitert. In der Vergangenheit wurden nur Aufsätze berücksichtigt, die in den rund 220 renommiertesten Journalen erschienen waren. Jetzt werden alle Publikationen gewertet, die in den Zeitschriften erschienen sind, die in der „Econlit“-Datenbank der „American Economic Association“ enthalten sind. Hinzu kommen wichtige Statistik-Zeitschriften und einige interdisziplinäre Journale wie „Nature“ und „Science“. Insgesamt umfasst die Journal-Liste jetzt mehr als 1250 Zeitschriften
.
Das zentrale Argument für die Erweiterung der Journal-Liste war, dass der Forschungsoutput der Wissenschaftler damit vollständiger erfasst wird. „Ein allgemein einsetzbarer Forschungsindikator muss notwendigerweise eine Vollerhebung des Forschungsoutputs anstreben“, hatten Ursprung und sein Mitarbeiter Robert Hofmeister 2008 in einer Studie über das Handelsblatt-Ranking gefordert.
Zeitschriftengewichtung
Auch die Gewichtung der Zeitschriften wurde überarbeitet – auf der Basis eines neuen Journal-Rankings, das die französischen Ökonomen Pierre-Philippe Combes und Laurent Linnemer im Auftrag des Handelsblatts erstellt haben. Ihre Arbeit mit dem Titel „Inferring Missing Citations A Quantitative Multi-Criteria Ranking of all Journals in Economics”, in der sie ihr Vorgehen detailliert beschreiben, ist als Arbeitspapier verfügbar.
Maßgeblich für das Handelsblatt-Ranking ist das Journal-Ranking von Combes/Linnemer ohne „Econ“-Korrekturfaktor (Tabellen 36 und 37 in ihrer Arbeit). Grund dafür ist, dass das Handelsblatt-Ranking zur Beurteilung ökonomischer Forschung im weiteren Sinne verwendet wird und auch Forscher aus Disziplinen wie Statistik, Ökonometrie und Finance damit gerankt werden. Daher halten wir es nicht für sinnvoll, Zeitschriften aus diesen Bereichen im Vergleich zu Kern-VWL-Journalen mit einem Malus zu bewerten.
Im Vergleich zur alten Handelsblatt-Zeitschriftenliste ist das relative Gewicht der Top-Zeitschriften gestiegen: Von den über 1250 Zeitschriften haben zehn Top-Journale ein Gewicht von jeweils einem Punkt, weitere 26 haben ein Gewicht von 0,6 Punkten. Alle anderen Zeitschriften haben 0,3 Punkte oder weniger. Dieses Gefälle spiegelt die starken Qualitäts- und Reputationsunterschiede zwischen den einzelnen Fachzeitschriften wider.
Seitenzahlen bzw. die Länge einer Arbeit werden – wie in der Vergangenheit – beim Handelsblatt-Ranking nicht berücksichtigt. Wie gehabt werden Aufsätze, die bis zu einem bestimmten Stichtag (30. November 2009) zur Veröffentlichung akzeptiert wurden, aber noch nicht gedruckt sind, mitberücksichtigt.
Umgang mit Koautoren
Früher hatten Forscher, die einen Aufsatz mit Koautoren geschrieben haben, dafür einen kleinen Punkte-Bonus bekommen. Dieser entfällt künftig. Für einen Aufsatz im „American Economic Review“ bekommt ein Alleinautor einen vollen Punkt. Zwei Wissenschaftlern erhalten je 0,5 Punkte, nicht wie bislang 0,67. Die alte Regelung setzte nach Ansicht von Kritikern übermäßige Anreize für Koautorenschaften. Tatsächlich ist das Ziel des Rankings die Förderung der Forschung, nicht die der Koautorenschaften. Wissenschaftler sollten sich für eine Gemeinschaftsproduktion entscheiden, wenn sie zu Synergien oder besseren Forschungsergebnissen führt. Das dürfte sich auch in der Qualität der Publikation – und damit einem höheren Zeitschriftengewicht – niederschlagen.
Update-Verfahren
Auch das Verfahren zur Akualisierung des Rankings hat sich verändert. Seit 2010 erstellt das Handelsblatt das Ranking nicht mehr selbst, sondern kooperiert mit dem Thurgauer Wirtschaftsinstitut (TWI) an der Universität Konstanz und der KOF Konjunkturforschungsstelle der ETH Zürich, die das Ranking nach Maßgabe des Handelsblatts erstellen. Forscher brauchen neue Publikationen ab sofort nicht mehr E-Mail an das Handelsblatt zu schicken, sondern können ihre Publikationen selbst im Internet pflegen, indem sie sich in das Forschungsmonitoring-Portal () einloggen.
Auswirkungen auf das Ranking
Insgesamt sind die Folgen dieser Änderungen für die Ergebnisse des Rankings bemerkenswert gering. So wären 91 der 100 forschungsstärksten Ökonomen in der Rangliste für das Lebenswerk auch bei der alten Zeitschriftenliste unter den Top 100. Bei 47 Forschern ändert sich die Platzierung um fünf Ränge oder weniger, im Durchschnitt ändern sich die Ränge um zehn Plätze. Beim Ranking der Fakultäten, das am 8. März veröffentlicht wird, sind die Folgen noch geringer. Dies zeigt, dass die Methodik des Rankings robust ist. Gleichzeitig macht es deutlich: Kleine Rangunterschiede bei Einzelforschern dürfen nicht überbewertet werden.
