"Data Mining" gerät bei Ökonomen in die Kritik Forschung auf Sohle sieben
Linkshänder haben häufiger hohen Blutdruck als Rechtshänder und sind öfter schizophren, aber sie leiden seltener unter Arthritis und Magengeschwüren. Das alles und noch viel mehr referieren drei amerikanische Wirtschaftswissenschaftler von namhaften Universitäten als Ausgangspunkt für die Forschungsfrage ihrer kürzlich als Working Paper des renommierten National Bureau of Economic Research (NBER) erschienenen Studie „Handedness and Earnings“. Das Forschertrio geht der Frage nach: Wie unterscheiden sich die Einkommensperspektiven von Links- und Rechtshändern?
Sie stellen fest: Linkshänder verdienen im Durchschnitt 15 Prozent mehr als vergleichbare Rechtshänder – jedenfalls dann, wenn sie männlichen Geschlechts sind und eine Collage-Ausbildung haben. Sonst nicht. Eine vernünftige theoretische Erklärung für diese Resultate haben die Forscher leider nicht im Angebot.
Die Working-Paper-Serie des NBER genießt in der Ökonomenzunft international einen tadellosen Ruf – sie gilt als selektiv und anspruchsvoll. Doch einiges spricht dafür, dass die Ergebnisse der Linkshänder-Studie einem systematischen „Data Mining“ zu verdanken sind. Darunter verstehen Wissenschaftler die theorielose Analyse von Datenbeständen mit dem Ziel, potentiell interessante oder nützliche statistische Zusammenhänge aufzudecken. Oft kommen solche Korrelationen aber rein zufällig zustande, ohne dass ein kausaler Zusammenhang besteht.
Am Daten-Bergbau scheiden sich die wissenschaftlichen Geister. Software-Hersteller preisen komplexe Computerprogramme dafür als mächtige Forschungswerkzeuge, die teure und langwierige Arbeit von Statistikern und Ökonometrikern unnötig machen sollen. In akademischen Zirkeln finden diese Programme vor allem in den Marketing-Fachbereichen Abnehmer. Dort gilt die theorielose Schatzsuche in Datenbeständen als respektable Methode – zum Beispiel, um aus den Kundendaten eines Unternehmens Beziehungen zum Kaufverhalten herauszufiltern.
Unter Volkswirten und in vielen anderen Disziplinen ist „Data Mining“ dagegen ist ein Schimpfwort, mit dem Wissenschaftler Forschungsergebnisse abqualifizieren. Der Vorwurf lautet: Wenn man genügend viele Datenreihen analysiert, findet man zwangsläufig zufällige Zusammenhänge, die auch statistische Signifkanztests bestehen. Statistische Signifikanz bedeutet: Ein Zusammenhang zwischen zwei Variablen ist so eng, dass mit hoher Wahrscheinlichkeit – in aller Regel 99, 95 oder 90 Prozent – ausgeschlossen werden kann, dass das Muster einfach zufällig ist. Diese Signifikanzschwellen sind aber nur aussagekräftig, wenn man vorher eine These hat, die man anhand einer begrenzten Anzahl relevanter Datenreihen überprüft.
Wer dagegen ohne theoretische Beschränkungen einen Datensatz mit 10 Variablen mit Data-Mining-Methoden untersucht, findet 45 Zweierpaare, die er auf statistische Zusammenhänge testen kann. „Das reicht in der Regel, damit zwei oder drei dieser Beziehungen allein durch Zufall den Signifikanztest bestehen“, sagt der australische Ökonom und Data-Mining-Kritiker John Quiggin.
„Wenn man danach strebt, eine statistisch signifikante Beziehung zu finden, aus der man eine wissenschaftliche Publikation machen kann, dann wirkt diese Strategie wahre Wunder“, betont Quiggin. Denn bei der Aufdeckung von „Data Mining“ gibt es ein schwer überwindliches Problem: Wenn ein Wissenschaftler ein empirisches Forschungspapier vorlegt, kann niemand überprüfen, wie viele Datenreihen er analysiert hat, bevor er die in seiner Arbeit präsentierten statistisch signifikanten Beziehungen entdeckt hat.
