Messen, was Schüler*innen wissen und können – die PISA-Studie

Das „Programme for International Student Assessment“, kurz PISA, ist eine groß angelegte und international vergleichende Schulleistungsstudie (Large-Scale-Assessment) der OECD. Mit ihr werden alle drei Jahre weltweit Grundkompetenzen 15-jähriger Schüler*innen in den Bereichen Lesen, Mathematik und Naturwissenschaften untersucht – mittlerweile in rund 80 teilnehmenden Staaten. Die empirische Untersuchung ist nicht nur von hoher wissenschaftlicher Relevanz, sondern liefert auch wichtige evidenzbasierte Impulse zu Debatten um schulische Bildung. Die Abteilung wirkt schon seit vielen Jahren in vielfältiger Weise an der PISA-Studie mit – auf nationaler und internationaler Ebene – und trägt so zur internationalen Ausrichtung des DIPF bei.

Nationale Durchführung und Begleitforschung

Das DIPF ist Teil des „Zentrums für internationale Bildungsvergleichsstudien“ (ZIB) in München, das die PISA-Durchführung in Deutschland koordiniert. Das Team um die ZIB-Professur von Prof. Dr. Frank Goldhammer war an verschiedenen Stellen am nationalen Ergebnisbericht der im Jahr 2022 durchgeführten PISA-Erhebung beteiligt. Die Forschenden trugen insbesondere zu den Kapiteln zur Lesekompetenz und zum Lernen unter Pandemiebedingungen bei, Prof. Dr. Frank Goldhammer gehörte zudem zum Kreis der Herausgeber*innen. Nicht zuletzt war das DIPF für die technische Umsetzung und Bereitstellung nationaler Ergänzungen zur Hauptstudie verantwortlich.

Das ZIB erforscht Fragen zu internationalen Large-Scale-Assessments und nutzt dazu Sekundäranalysen oder Ergänzungsstudien. Das ist auch ein Schwerpunkt der Arbeiten am DIPF. Hauptsächlich stehen dabei neue Messkonzepte für die PISA-Studie und deren Überprüfung (Validierung) im Fokus. Zwei Beispiele verdeutlichen diese Arbeiten:

• In einer Sekundäranalyse der PISA-2015-Feldtestdaten aus 13 Ländern wurde untersucht, ob sich die Interpretation der Testergebnisse durch die Umstellung von papierbasierten auf computerbasierte Tests ändert. Konkret ging es um die Frage, ob sich der Einfluss von Merkmalen der Aufgaben (zum Beispiel kognitive Anforderung) auf die Aufgabenschwierigkeit und somit die Interpretation der Ergebnisse unterscheidet. Die Ergebnisse zeigen, dass solche durch den Modus bedingten Unterschiede insbesondere beim Lesen auftreten, während sich bei Mathematik und Naturwissenschaften relativ konsistente Ergebnisse zeigten.
• Im Zusammenhang mit der PISA-Studie 2022 wurde eine Ergänzungsstudie zur Vorbereitung der innovativen Domäne „Learning in the Digital World“ (LDW) in der PISA-Untersuchung 2025 durchgeführt. Schüler*innen bearbeiteten hierbei interaktive Problemlöseaufgaben in digitalen Lernumgebungen, zum Beispiel die Modellierung von Einflüssen auf Tierpopulationen. Die Aufgabenlösung konnten sie sich unter Zuhilfenahme von Beispielen und Hinweisen stückweise und selbstgesteuert erarbeiten. Dabei wurden zwei Aspekte gemessen:
  • die Kompetenz, die Probleme mithilfe digitaler Werkzeuge modellbasiert zu lösen und
  • die Fähigkeit, den eigenen Lernprozess zu steuern, zum Beispiel durch das Kontrollieren des Lernfortschritts oder das adaptive Nutzen von Hilfestellungen.

Erste Ergebnisse zeigen, dass die Aufgaben authentische Lernprozesse initiieren und den Aufbau von Wissen abbilden können. So fanden die Forschenden Hinweise, dass nicht nur Vorkenntnisse in den jeweiligen Themenbereichen, sondern auch allgemeine kognitive Fähigkeiten und die Art der Lernaktivitäten Leistungsunterschiede in solchen Aufgaben erklären.

PISA 2025 wird den teilnehmenden Ländern erstmals die Möglichkeit bieten, optional auch die Fremdsprachenkompetenzen in Englisch zu erfassen. Das ZIB plant unter Beteiligung des DIPF eine Ergänzungsstudie zu dieser Zusatzerhebung, um zusätzliche, in der regulären PISA-Erhebung nicht enthaltene Schreibkompetenzen zu erfassen. Dabei soll vor allem experimentell untersucht werden, wie der Einsatz des generativen KI-Werkzeugs „ChatGPT“ die Schreibprozesse und -ergebnisse der Schüler*innen beeinflusst.

Internationale Mitwirkung an PISA-Innovationen

Die OECD fördert im Rahmen des Programms „PISA RDI“ (PISA Research, Development and Innovation Programme) Projekte, die die Methodik der Studie innovativ und forschungsbasiert weiterentwickeln. Das „PISA Governing Board“ hat hierfür unter anderem ein vom LLiB-Arbeitsbereich „Technology Based Assessment“ eingereichtes Projekt ausgewählt. Im Rahmen dieses Vorhabens wurde eine Methodik entwickelt, Textantworten aus den PISA-Tests mit maschineller Unterstützung und somit mit weniger menschlichem Aufwand und höherer Konsistenz zu bewerten. Der flexible Ansatz setzt natürliche Sprachverarbeitung ein, die auf die vielfältigen Testsprachen in der PISA-Studie anwendbar ist. In der Evaluationsstudie zeigte sich, dass sich der durchschnittliche Aufwand um 36 Prozent verringert. Daher plant die OECD, die Methodik in zukünftigen PISA-Studien einzusetzen. 

Das DIPF ist außerdem in der internationalen LDW-Expert*innengruppe für 2025 vertreten. Das interdisziplinär besetzte Gremium berät das PISA-Sekretariat und das internationale PISA-2025-Konsortium bei der Entwicklung und Validierung der Testinstrumente und den Datenanalysen. Dadurch treibt die Gruppe maßgeblich die Konzipierung und die Entwicklung dieser innovativen Domäne voran.  

Durch diese vielfältigen Aktivitäten der Abteilung ist das DIPF zentral an der Gestaltung und Durchführung von PISA beteiligt und bringt sich somit nachhaltig in eine der wichtigsten international vergleichenden Schulleistungsstudien ein.