Vergleichstest Schüler nehmen die Pisa-Tests oft nicht ernst – das verzerrt die Ergebnisse

Schlechte Ergebnisse bei Pisa-Test haben für Schüler keine Konsequenzen. Oft fehlt die Motivation – und das verzerrt die Ranglisten der Studie.
Kommentieren
Der Pisa-Test wird von Land zu Land und zwischen sozioökonomischen Gruppen unterschiedlich ernst genommen. Quelle: dpa
Pisa-Vergleichstest

Der Pisa-Test wird von Land zu Land und zwischen sozioökonomischen Gruppen unterschiedlich ernst genommen.

(Foto: dpa)

FrankfurtDie Pisa-Vergleichstests zum Können und Wissen von Schülerinnen und Schülern sorgen regelmäßig für Schlagzeilen. Die Ergebnisse des ersten Tests im Jahr 2000 sind sogar als „Pisa-Schock“ in die bildungspolitischen Analen Deutschlands eingegangen. Denn im Vergleich zu anderen Ländern schnitt Deutschland schlecht ab. Hinzu kamen besonders schlechte Ergebnisse von Teilnehmern mit Migrationshintergrund. In späteren Tests gab es bessere Ergebnisse.

Womöglich lag das auch daran, dass der Pisa-Schock dazu führte, dass Schüler und Lehrer den Test ernster nahmen. Wie wichtig das sein kann, haben nun drei Ökonominnen in einer groß angelegten Untersuchung verdeutlicht.

Pelin Akyol, Kala Krishna, und Jinwen Wang machten sich zunutze, dass der Pisa-Test 2015, an dem 72 Länder teilnahmen, erstmals am Computer durchgeführt wurde. Sie untersuchten, wie ernst die Schülerinnen und Schüler in den verschiedenen Ländern den Test nahmen. Für die Getesteten hat es nämlich keine Konsequenzen, wie gut oder schlecht sie abschneiden.

Ob eine Probandin einen Test ernst genommen hat, lässt sich zum Beispiel daran sehen, ob sie ihn beendet, bevor alle Fragen bearbeitet sind. Falsche Antworten geben bei Pisa nämlich keinen Abzug.

Ein anderes starkes Indiz ist, wenn ein Schüler so wenig Zeit auf Fragen verwendet hat, dass er sie kaum gelesen haben kann, und sie falsch beantwortet. Wenn ein größerer Teil der Probanden den Test nicht ernst nehmen sollte, wären die Ergebnisse nach unten verzerrt.

Beim Max-Planck-Institut für Bildungsforschung, das beim ersten Pisa-Test das deutsche Pisa-Konsortium anführte, hatte man diesen möglichen Einwand gesehen. Man testete experimentell, ob er berechtigt ist – allerdings erst kurz vor dem ersten Test. Das Ziel war erklärtermaßen, die Pisa-Verantwortlichen „in die Lage zu versetzen, ungerechtfertigter Kritik zu begegnen“.

Geld führt nicht zu mehr Motivation

Koautor Jürgen Baumert, der den Pisa-Test 2000 in Deutschland später als nationaler Projektmanager leiten sollte, und seine Mitautorin Anke Demmrich fanden ein dafür geeignetes Ergebnis. Sie motivierten einen Teil ihrer Probanden durch Geld, Benotung oder intensives Zureden, ihr Bestes zu geben. Diese Teilgruppe schnitt nicht besser ab als eine Vergleichsgruppe, die die normalen Pisa-Instruktionen bekam. Kein Problem also.

Die Auswertung von einer halben Million Testergebnisse 2015 durch die drei Ökonominnen brachte nun ein ganz anderes Ergebnis. Die Autorinnen ermittelten, dass der Anteil der nicht Ernsthaften von Land zu Land und zwischen sozioökonomischen Gruppen deutliche Unterschiede aufwies. Dieser Anteil reichte 2015 von 16 Prozent in Südkorea bis 67 Prozent in Brasilien.

Um das Ausmaß der Verzerrung abzuschätzen, ermittelten die Ökonominnen für alle Teilnehmer, die den Test nicht ernst nahmen, aus den Fragen, die sie ernsthaft bearbeiteten und aus ihren sonstigen bekannten Merkmalen ein statistisches Fähigkeitsniveau. Dieses wendeten sie auf die nicht ernsthaft bearbeiteten Fragen an und errechneten so, was hypothetisch herausgekommen wäre, wenn die Probanden sich durchgehend angestrengt hätten.

Deutschland scheint demnach überdurchschnittlich betroffen. Die deutschen Schülerinnen und Schüler lägen auf Rang zwölf, statt auf Rang 15, wenn sich alle Schüler in allen Ländern – hypothetisch – so angestrengt hätten wie bei einem Test, bei dem es für sie um etwas ging.

Die Untersuchung bestätigt das experimentelle Ergebnis eines chinesisch-amerikanischen Forscherteams um Uri Gneezy von 2017. Dieses hatte 500 Probanden in den USA und 300 in Schanghai den Pisa-Mathematiktest machen lassen. Dabei gaben sie jeweils einer Testgruppe einen finanziellen Anreiz, sich anzustrengen. Das verbesserte in den USA die Testergebnisse deutlich, nicht dagegen in China, das bei Pisa zu den Spitzenreitern gehört.

Würde diese Erhöhung der Anstrengung auf den Pisa-Test übertragen, schätzten Gneezy und Co., würde sich der Rang der USA von 36 auf 19 verbessern. Akyol, Krishna und Wang kommen bei ihrer aktuellen Auswertung der Pisa-Ergebnisse zu dem etwas weniger spektakulären Resultat, dass sich die Position der USA – wenn sie als einziges Land ihre Schüler zu voller Leistung motivieren könnten – in Naturwissenschaften von Rang 27 auf Rang 22 verbessern würde.

Allerdings zeigt eine zweite hypothetische Rechnung, dass die USA sogar auf Rang 31 abrutschen würden, wenn die volle Motivation aller Schüler in allen Ländern gelänge. Das Problem scheint in anderen Ländern im Mittelfeld noch gravierender zu sein. „So wie Pisa-Ergebnisse und Rankings gegenwärtig verwendet werden, zeichnen sie ein verzerrtes Bild davon, wo Länder absolut und relativ stehen“, resümieren die Autorinnen.

In der Mitte ist es eng

Auf die neue Studie aus den USA angesprochen, kritisieren die Professorin für Didaktik der Mathematik, Kristina Reiss, und der Bildungsökonom Ludger Wößmann, dass darin die experimentelle deutsche Studie aus dem Jahr 2001 nicht erwähnt wird. Reiss ist derzeit Pisa-Koordinatorin für Deutschland, Wößmann ein führender Bildungsforscher, der viel mit Pisa-Daten arbeitet.

Wößmann bemängelt auch, dass der Verweis auf Rangplätze nicht viel aussage, weil die Abstände zwischen den Ländern im Mittelfeld so eng seien, dass geringe Änderungen zu Verschiebungen um mehrere Plätze führen können. Es sind allerdings gerade die Ranglisten, über die die Pisa-Tests ihre große öffentliche Aufmerksamkeit und politische Wirkung erzielen.

Dieser Fokus auf den Ranglisten schafft einen starken Anreiz, sein Ranking mit Maßnahmen zu verbessern, die die Fähigkeiten der Schülerinnen und Schüler vielleicht nicht erhöhen, aber einfach umzusetzen sind. Dazu gehört es, die Probanden zu großer Ernsthaftigkeit beim Test anzuhalten. Wer das nicht tut, fällt zurück, wenn die anderen es tun. Andere Mittel sind das Heraushalten von schwachen Schülergruppen mit Tricks und das gezielte Ausrichten der Lehre an den Pisa-Tests.

Ein gewisses Fragezeichen muss man wohl auch hinter den Befund von Pisa 2015 setzen, dass die Mädchen in Deutschland deutlich besser in Naturwissenschaften sind als die Jungen. Verschiedene Studien haben gezeigt, dass Jungen bei Tests, in denen es für sie um wenig geht, ihre Anstrengung stärker reduzieren als Mädchen.

Kala Krishna, eine der Autorinnen des aktuellen Pisa-Papiers, gibt sich auf Anfrage nicht allzu beeindruckt von der deutschen Studie aus dem Jahr 2001. Sie verweist darauf, dass nur acht Schulen in einer deutschen Stadt einbezogen wurden und bei der Durchführung einiges schiefging, sodass von den ohnehin nur 467 Schülerinnen und Schülern noch 150 ausgeschlossen werden mussten.

Die Vergleichsgruppen waren dadurch sehr klein. Außerdem bemängelt sie: „Wir zeigen ganz klar, dass die verschiedenen Länder sich bei Ausmaß und Konsequenzen von nicht ernsthaftem Verhalten stark unterscheiden.“ Es sei daher nicht zulässig, die Ergebnisse aus einem kleinen Experiment in einer einzigen Stadt auf andere Länder zu übertragen.

Startseite

Mehr zu: Vergleichstest - Schüler nehmen die Pisa-Tests oft nicht ernst – das verzerrt die Ergebnisse

0 Kommentare zu "Vergleichstest: Schüler nehmen die Pisa-Tests oft nicht ernst – das verzerrt die Ergebnisse"

Das Kommentieren dieses Artikels wurde deaktiviert.

Serviceangebote
Zur Startseite
-0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%31%32%33%34%35%36%37%38%39%40%41%42%43%44%45%46%47%48%49%50%51%52%53%54%55%56%57%58%59%60%61%62%63%64%65%66%67%68%69%70%71%72%73%74%75%76%77%78%79%80%81%82%83%84%85%86%87%88%89%90%91%92%93%94%95%96%97%98%99%100%