Der einzige Weg, um solche Fehler zu finden, ist das, was Wissenschaftler „Replikation“ nennen – der Versuch anderer Forscher, die Ergebnisse einer Studie mit den gleichen oder anderen Daten nachzuvollziehen. „Das ist die Basis für die gesamte wissenschaftliche Arbeit“, schrieb Martin Feldstein schon 1982 nach seinem Lapsus.
Allerdings machen sich Wirtschaftswissenschaftler bislang nur selten die Mühe, Studien von Kollegen auf Herz und Nieren zu prüfen. „Ökonomen behandeln das Thema Replikation genauso wie Teenager sexuelle Enthaltsamkeit – sie idealisieren es, praktizieren es aber nicht“, schreibt der Volkswirt Daniel Hamermesh (University of Texas at Austin) in einem jüngst veröffentlichten Aufsatz. Hamermesh hat damit einen Nerv getroffen: Auf der Internet-Seite des National Bureau of Economic Research ist das Papier derzeit eine der am häufigsten heruntergeladenen Arbeiten.
Für sein eigenes Fachgebiet, die Arbeitmarkt-Forschung, befragte Hamermesh 139 Ökonomen, die empirische Arbeiten in den beiden führenden Fachzeitschriften des Fachs veröffentlicht hatten, wie oft Fachkollegen die Rohdaten der Untersuchung angefordert hatten. Das Ergebnis: Mehr als die Hälfte von ihnen erhielt nicht eine einzige Rückfrage.
„Bei empirischen Studien mit Felddaten gibt es meines Erachtens einen Mangel an Replikation“, betont auch der Züricher Wirtschaftswissenschaftler Ernst Fehr, derzeit Vizepräsident der European Economic Association. „Ohne Replikation kann ein empirisches Ergebnis nicht als wirklich wissenschaftlich etabliert gelten“, unterstreicht Fehr. „Ohne Replikation lässt sich kein verlässliches Wissen schaffen.“
Bei dem Versuch, Forschungsergebnisse anderer Wissenschaftler nachzuvollziehen, geht es nicht nur darum, formale Fehlern wie in den Fällen Feldstein und Levitt zu finden. Mindestens genauso wichtig ist die Antwort auf die Frage, wie robust und allgemein gültig die Aussagen einer Studie sind. Denn auch wenn Ökonomen richtig gerechnet haben und die Resultate alle statistischen Signifikanz-Checks bestehen, können Ergebnisse zufällig zustande gekommen sein.
Manchmal genügen kleine Änderungen beim methodischen Vorgehen, und man erhält gegensätzliche Ergebnisse. „Man kann nicht erwarten, dass ökonometrische Resultate, die für ein Land oder einen Zeitabschnitt erstellt wurden, für alle anderen Umstände gültig sind“, betont Hamermesh. Für gesichertes ökonomisches Wissen sei es nötig, identische Fragen mit ähnlichen Methoden, aber anderen Daten und für unterschiedliche Länder zu untersuchen, argumentiert der Wissenschaftler.
So wichtig eine solche Überprüfung aber auch ist – bislang können Forscher damit kaum einen Blumentopf gewinnen. Vor allem, wenn sich die Ergebnisse der Ursprungsarbeit bestätigen, kann man solche Arbeiten kaum prominent veröffentlichen. „Spitzenjournale lehnen solche Arbeiten häufig ab, weil sie nicht innovativ und neu sind“, sagt Thomas Dohmen, Forscher am Institut zur Zukunft der Arbeit.
Hamermesh sieht es ähnlich: „Bislang gibt es für gute Ökonomen kaum Anreize, die Forschung anderer Kollegen zu replizieren.“ Dies könne sich nur ändern, wenn führende Fachzeitschriften solche Arbeiten stärker nachfragen würden.
Konkret schlägt Hamermesh vor: Die Herausgeber der führenden ökonomischen Fachzeitschriften sollten künftig jeweils zwei Replikationsstudien pro Jahr zu in ihrer Zeitschrift erschienenen Arbeiten in Auftrag geben. Die Veröffentlichung dieser Untersuchungen müsse unabhängig vom Ergebnis garantiert werden, sofern wissenschaftliche Mindeststandards einhalten werden. „Ohne eine solche direkte Förderung werden wir auch in Zukunft zwar sporadisch Aufrufe zu mehr Replikationsarbeiten hören, das Angebot solcher Studien wird aber weiter nahe Null liegen.“
