Der US-Professor Bruce McCullough geht im Interview mit dem Handelsblatt hart mit seinem Fach ins Gericht: Es fehlen wirksame Qualitätskontrollen für wirtschaftswissenschaftliche Forschung, klagt der Professor. Sehr viele Arbeiten seien nicht reproduzierbar - und letztlich keine Wissenschaft.
Handelsblatt: Professor McCullough, Sie sind einer von nur einer Hand voll wissenschaftlich tätiger Ökonomen, die es sich zur Aufgabe gemacht haben, empirische ökonomische Studien zu überprüfen. Wie sind Ihre Erfahrungen?
McCullough: Ich habe versucht, die Ergebnisse von Dutzenden von Zeitschriftenaufsätzen zu reproduzieren. Das ist in so vielen Fällen nicht möglich gewesen. Ich glaube daher nichts mehr, was in einer ökonomischen Fachzeitschrift publiziert wird, solange ich nicht die Daten und das Computerprogramm bekomme, um selbst nachzuprüfen, ob die veröffentlichten Ergebnisse korrekt sind.
Wenn ich Artikel in einem renommierten Journal lese, erwarte ich, dass Gutachter die Ergebnisse nachgeprüft haben. Bin ich zu naiv?
Ich fürchte ja. Außer bei den allereinfachsten Artikeln kann das geschriebene Wort unmöglich alles beschreiben, was mit den Daten angestellt wurde. Nur die Daten selbst in Verbindung mit dem Software-Code können das. Von Gutachtern wird typischerweise nicht erwartet, dass sie alle Regressionen reproduzieren. Sie verlassen sich meist auf das Wort der Autoren. Dagegen wird bei theoretischen Arbeiten von Gutachtern erwartet, dass sie alle Gleichungen und Beweise genau nachvollziehen.
Können Herausgeber und Gutachter den Forschern nicht trauen?
Wir müssen einfach anerkennen, dass Forscher gelegentlich Fehler machen und dass Software falsche Ergebnisse hervorbringen kann. Damit wir veröffentlichten Ergebnissen glauben können, müssen unabhängige Dritte die Möglichkeit haben, das Programm zu checken, um sicherzugehen, dass es auch tatsächlich das macht, was es soll. Steven Levitt, Herausgeber des „Journal of Political Economy“, hatte selbst einmal einen Fehler dieser Art in einem eigenen Aufsatz. Der Programmierfehler wurde nur gefunden, weil Professor Levitt seine Daten und seinen Software-Code zugänglich gemacht hatte. Er ist ein Vorbild darin, dass er diese Offenheit pflegt, selbst wenn eine Fachzeitschrift sie von ihren Autoren nicht ausdrücklich verlangt.
Einige Zeitschriften verlangen die freiwillige Selbstverpflichtung, Daten und Code anderen Forschern auf Anfrage herauszugeben. Löst so eine Regelung das Problem?
Im Jahr 1999 haben H. D. Vinod und ich versucht, alle Artikel einer Ausgabe des „American Economic Review“ (AER) nachzuvollziehen. Das „AER“ hatte damals diese Politik. Die Hälfte der Autoren weigerte sich, ihre freiwillige Selbstverpflichtung zu erfüllen. Sie gaben ihre Daten und ihren Code auf Anforderung nicht heraus. Bei anderen Zeitschriften war die Quote noch schlechter. Der heutige Vorsitzende der US-Notenbank, Ben Bernanke, war 2003 Herausgeber des „AER“, als wir die Ergebnisse unserer Untersuchung veröffentlichten. Er las unseren Artikel und führte ein verpflichtendes Daten- und Code-Archiv beim „AER“ ein. Andere Top-Journals folgten nach.
Können Sie bitte erläutern, was ein Datenarchiv ist?
Bevor ein Artikel veröffentlicht wird, muss der Autor die Daten und den Code an das Journal übergeben. Dieses stellt sie Dritten zu Prüfzwecken zur Verfügung. Einige ältere Archive sind überprüft worden. Leider hat sich in der weit überwiegenden Zahl der Fälle herausgestellt, dass sich mit den dort hinterlegten Daten und Programmen die veröffentlichten Ergebnisse nicht reproduzieren lassen. Meine Schlussfolgerung ist, dass zumindest in der Ökonomie reproduzierbare Ergebnisse die Ausnahme sind und nicht die Regel. Jede systematische Untersuchung hat bisher das gleiche schlimme Ergebnis erbracht, dass die meisten Ergebnisse nicht reproduzierbar sind. Trotzdem nimmt einfach jeder an, dass die Autoren ihre Daten und Programme offenlegen und ihre Artikel reproduzierbar sind. Es bleibt zu hoffen, dass neuere Archive wie das des „AER“ nachvollziehbare Artikel hervorbringen. Das muss sich aber erst noch zeigen.
Was halten Sie von Fachzeitschriften, die solche Prozeduren nicht haben?
Wenn sie keine Verfahren haben, die Reproduzierbarkeit sicherstellen, bedeutet das, dass es offizielle Journal-Politik ist, dass Artikel nicht reproduzierbar sein müssen. Man muss sich das vorstellen: Sogenannte wissenschaftliche Zeitschriften geben praktisch zu, dass die veröffentlichten Ergebnisse nicht notwendigerweise nachweisbar korrekt sind. Hat das etwas mit Wissenschaft zu tun?
Was ist ein Forschungsergebnis wert, das nicht unabhängig nachgeprüft werden kann?
Es ist nicht wissenschaftlich. Reproduzierbarkeit ist ein Grundstein der wissenschaftlichen Methode. Wenn die Ergebnisse nicht beweisbar korrekt sind, sollten sie nicht als Basis für eine darauf aufbauende Politik genommen werden. Vor einem amerikanischen Gericht muss jeder, der statistische Beweise vorlegt, alle Daten und eine Dokumentation aller Rechenschritte vorlegen. Warum akzeptieren wir einen niedrigeren Standard bei Zeitschriften, die sich wissenschaftlich nennen und deren Artikel als Grundlage für milliardenschwere Entscheidungen durch die öffentliche Hand dienen?
