LondonWie bewertet man die Forschungsleistung eines Wissenschaftlers? Wie verhindert man, dass sich Masse statt Klasse durchsetzt? Und wie stellt man sicher, dass alle Veröffentlichungen eines Forschers erfasst werden?
Mit einer über die Jahre verfeinerten Methodik versucht das Handelsblatt diese Fragen zu beantworten (Ergebnisse des Rankings hier).
Das Handelsblatt folgt dabei einer Methodik, die Pierre-Philippe Combes und Laurent Linnemer 2003 in einer Studie für die European Ecnomic Association beschrieben haben. ("Where are the Economists Who Publish? Publication Concentration and Rankings in Europe Based on Cumulative Publications", Journal of the European Economic Association, 2003)
Die Grundidee ist, dass von der Reputation der Zeitschrift, in der der Aufsatz veröffentlicht wurde, auf die Qualität des Aufsatzes geschlossen werden kann.
Sorgfältig wertet die Konjunkturforschungsstelle der ETH Zürich im Auftrag es Handelsblatts mehr als 1 250 Fachzeitschriften aus, darunter sämtliche Publikationen, die in der „Econlit“-Datenbank der „American Economic Association“ enthalten sind. Hinzu kommen wichtige Statistik-Zeitschriften und interdisziplinäre Journale wie „Nature“ und „Science“.
Forscher können die für sie erfassten Daten über das Internet im Portal "Forschungsmonitoring" einsehen und aktualisieren. Dort sind auch die Ansprechpartner für Forscher genannt, die bisland nicht in der Datenbank eingetragen sind.
Die Handelsblatt-Journalliste 2011 ist bis auf wenige Aktualisierungen mit der Liste des vergangenen Jahres identisch. Hinzu gekommen sind Zeitschriften, die neu in die EconLit-Datenbank aufgenommen wurden, sie erhalten alle 0,05 Punkte.
Die große Journal-Anzahl soll gewährleisten, dass die Publikationsleistungen so vollständig wie möglich erfasst werden. Bis 2010 hatte sich die Auswahl auf die 220 renommiertesten Journals beschränkt.
Der Konstanzer Ökonom Heinrich Ursprung, der als der führende Experte für Rankings in der deutschen Wirtschaftswissenschaft gilt, hatte daraufhin empfohlen, die Liste zu erweitern. Ein allgemein einsetzbarer Forschungsindikator müsse notwendigerweise „eine Vollerhebung des Forschungsoutputs anstreben“, schrieben Ursprung und ein Mitarbeiter in einer Studie über das Handelsblatt-Ranking.
Um sicherzustellen, dass die Veröffentlichungen angemessen nach ihrer Qualität gewichtet werden, hat das Handelsblatt Ende 2009 die französischen Ökonomen Pierre-Philippe Combes und Laurent Linnemer beauftragt, ihr 2003 im Journal of the European Economic Association veröffentlichtes Journalranking zu akutalisieren. Das dabei entstandene Paper "Inferring Missing Citations - A Quantitative Multi-Criteria Ranking of all Journals in Economics" bildet die Grundlage der aktuellen Journalliste.
Die zehn bedeutendsten Zeitschriften haben ein Gewicht von jeweils einem Punkt, weitere 26 bringen 0,6 Punkte. Für Aufsätze in anderen Journals bekommen Forscher maximal 0,3 Punkte.
Dieses Gefälle bei der Punktevergabe ist gerade bei der großen Anzahl der gewerteten Journals unverzichtbar, da es zwischen den Zeitschriften starke Qualitäts- und Reputationsunterschiede gibt: Wenn Herausgeber und Gutachter eines der zehn Topjournals ihren Segen für die Veröffentlichung erteilen, gleicht das einem Ritterschlag. In Publikationen mit geringeren Standards unterzukommen, ist dagegen deutlich einfacher.
Wenn mehrere Forscher gemeinsam einen Aufsatz geschrieben haben, teilen sie sich die Punkte – bei einer Co-Produktion im Topjournal etwa bekommen beide Autoren 0,5 Punkte gutgeschrieben. Wie lang ein Text ist, spielt bei der Punktevergabe keine Rolle, die Art des Artikels dagegen schon: Für Kommentare gibt es die halbe Punktzahl, Autoren von Buchrezensionen gehen leer aus.
Bei der Berufung neuer Professoren ist das Handelsblatt-Ranking oft von Bedeutung, einige Universitäten evaluieren die Forschungsleistung ihrer Wissenschaftler auch intern mit der gleichen Systematik.
Allerdings sollte die genaue Platzierung im Ranking nicht überbewertet werden – die Tatsache, in welchem Journal ein Artikel veröffentlicht wurde, ist bei weitem nicht der einzige Indikator für seine Qualität. Ein Blick ins Ranking kann daher die Lektüre der Aufsätze eines Forschers nicht ersetzen.
1 Kommentar
Alle Kommentare lesen