"Der eigentliche Paradigmenwechsel ist die Evaluation"

Olaf Köller ist Geschäftsführender Wissenschaftlicher Direktor des Leibniz-Instituts für die Pädagogik der Naturwissenschaften und Mathematik (IPN) in Kiel und Ko-Vorsitzender der Ständigen Wissenschaftlichen Kommission (SWK).  Foto: IPN/Davids/Sven Darmer.

Herr Köller, die Verhandlungsführer von Bund und Ländern haben sich auf Eckpunkte zum Startchancen-Programm geeinigt. Hat der Bildungsföderalismus herausgeholt, was er aus sich herausholen kann?

Eine Milliarde Euro Bundesgeld pro Jahr ist nicht viel, da muss man sich nichts vormachen, das sind 250.000 Euro pro Schule. Trotzdem finde ich: Bund und Länder haben eine Menge herausgeholt. Ich war positiv überrascht, als ich das Papier gelesen habe. Alle Länder haben sich verpflichtet, Sozialkriterien für die Auswahl ihrer Schulen zu bestimmen. Auch diejenigen, die bislang keinen eigenen Sozialindex haben. Einigkeit herrscht über das wichtigste Ziel: Die Zahl derjenigen, die die Mindeststandards in den Kernfächern nicht erreichen, soll in zehn Jahren halbiert werden. Für schlau halte ich es, dass man nicht mit allen 4000 Schulen auf einmal beginnt, sondern mit 1000. Dadurch wird es wahrscheinlicher, dass der Einstieg überhaupt noch zum Schuljahr 2024/25 gelingt. Besonders erfreulich ist schließlich, dass Bund und Länder den Erfolg des Programms nicht nur behaupten, sondern messen lassen wollen. 

"Es war absehbar, dass, wenn man den
Königsteiner Schlüssel aufgibt, ein anderer Mechanismus sicherstellt, dass kein Land zu kurz kommt."

Stört Sie, dass das Bundesgeld zu großen Teilen weiter per Gießkanne auf die Länder verteilt wird? Und widerspricht das nicht dem immer wieder behaupteten Paradigmenwechsel?

Es war absehbar, dass alle Länder ordentlich etwas abhaben wollen und dass, wenn man schon den Königsteiner Schlüssel aufgibt, jetzt ein anderer Mechanismus sicherstellt, dass kein Land zu kurz kommt. Darum ist der eigentliche Paradigmenwechsel für mich ein anderer: dass Bund und Länder sich zu einer wissenschaftlichen Begleitung und Evaluation des Programms verpflichtet haben, und zwar mit explizitem Bezug auf ein Impulspapier, das wir als Ständige Wissenschaftliche Kommission (SWK) vergangenes Jahr vorgelegt haben. Wir haben viele große bildungspolitische Reformen erlebt in den Jahrzehnten nach Pisa 2000, von der Einführung der Ganztagsschulen über G8 bis zurück nach G9, doch hat es fast immer und in fast allen Ländern an der Bereitschaft gefehlt, mit harten Indikatoren die Wirkung dessen zu überprüfen, was man da beschlossen hat. Genau das passiert jetzt mit dem Startchancen-Programm, ausgestattet mit einem eigenen Evaluationsbudget. Das ist der Paradigmenwechsel. Wenn es denn so kommt und die Länder nicht vor ihrem eigenen Mut zur Empirie zurückschrecken. 

Aber was genau kommt denn? Die Eckpunkte sprechen von einem "verbindlichen Berichtswesen", von "wissenschaftlicher Begleitung" und "Evaluation", die getrennt voneinander laufen sollen. 

Ich habe mich auch gefragt, wie es genau gemeint ist. Persönlich würde ich wissenschaftliche Begleitung als formative Evaluation begreifen, bei der man schaut, für welche der ergriffenen pädagogischen Maßnahmen es Evidenz gibt und wie sie in den Schulen implementiert werden. Man kann dann auch die Schulen bei der Auswahl und Implementation wirksamer Programme unterstützen. Während das, was im Papier als Evaluation bezeichnet wird, vermutlich summativ verstanden wird: Man misst nach einer bestimmten Zeit, welche Kompetenzstände Schülerinnen und Schülern erreicht haben. 

An der Stelle bleibt das Papier ziemlich vage. Was empfehlen Sie der Bildungspolitik?

So vage ist das gar nicht. Durch die Fokussierung auf die Basiskompetenzen, den Bezug zu den Bildungsstandards und die Halbierung der Risikogruppe in zehn Jahren haben Bund und Länder sich selbst den entscheidenden Benchmark gesetzt. Und zugleich das Instrument zu dessen Messung impliziert: den IQB-Bildungstrend, den das Institut zur Qualitätsentwicklung im Bildungswesen für die Klassenstufen vier und neun entwickelt hat. Wir müssen also das Rad an der Stelle nicht neu erfinden. Es eignet sich aber auch keine andere vorhandene Methodik, die vielleicht von einzelnen Bundesländern angewandt wird – weil nur der Testaufgabenpool des Bildungstrends so eng und valide auf die Erfüllung der Bildungsstandards abzielt. Ein Vorgehen könnte daher sein, dass das IQB im Frühjahr 2025 eine sogenannte Null-Messung an den dann ausgewählten ersten 1000 Startchancen-Schulen durchführt, in Deutsch, Mathe und vielleicht noch Englisch. Und zwar sowohl in Klasse vier als auch in den Klassenstufen neun und zehn, je nachdem, wann die Sekundarstufe I im jeweiligen Land und in der jeweiligen Schulart endet. Nach fünf Jahren wird die Messung in den gleichen Klassenstufen zum ersten Mal wiederholt, nach zehn Jahren zum zweiten Mal. 

Diese Art der Messung würde bedeuten, dass sich keine Aussagen über einzelne Schülerkarrieren treffen ließen.

Ein Ansatz bei der Evaluation des Startchancen-Programms wäre tatsächlich eine Trenderfassung der Schulen mit Feststellung der Leistungsniveaus der Schülerinnen und Schüler als Ganzes. Für alles andere bräuchte man eine Längsschnittstudie, bei der dieselben Kinder bzw. Jugendlichen immer wieder getestet würden. Das halte ich in der Größenordnung, über die wir bei den Startchancen sprechen, nicht für realistisch. Sehr wohl wäre es aber ein zusätzlicher Erkenntnisgewinn, kleinere Stichproben von Schülerinnen und Schüler so, wie Sie das sagen, über einen längeren Zeitraum zu begleiten.  

"Es wird auf jeden Fall 

recht uneinheitlich zugehen."

Apropos Größenordnung der Evaluation: Was passiert mit den 3000 Schulen, die später dazu kommen?

Ich würde davon abraten, alle 4000 Schulen gleichermaßen evaluieren zu wollen, das wäre zu aufwändig und wohl ebenfalls zu teuer. 1000 Schulen bieten einen großen Ausschnitt, sind für das IQB eine zusätzliche Herkulesaufgabe, aber vermutlich handelbar, und eine Vorbereitungszeit von anderthalb Jahren erscheint realistisch. Ein weiterer Vorteil der Nullmessung wäre, dass so geprüft würde, ob die Länder mit ihren eigenen Sozialkriterien jeweils die richtigen Schulen erwischt haben: nämlich diejenigen mit den besonders leistungsschwachen Schülerinnen und Schülern – oder ob hier einzelne Länder noch einmal nachsteuern müssen. Es ist ja kein Naturgesetz, dass sozial benachteiligte Schülerinnen und Schüler grundsätzlich geringe Kompetenzniveaus aufweisen. 

Erwarten Sie eine stark unterschiedliche Treffsicherheit – je nachdem, ob die Länder schon etablierte Sozialindizes haben?

Es wird auf jeden Fall recht uneinheitlich zugehen. Diejenigen Länder, die bereits Programme für benachteiligte Schüler und Schulen betreiben, werden versuchen, die Schulen aus ihren Programmen auch in die Startchancen zu bringen. Und Länder, die noch keinen Sozialindex haben, müssen erst einen Algorithmus entwickeln, von dem sie nicht wissen, wie er sich auswirkt. Schließlich wird es Unterschiede geben zwischen Ländern mit einem hohen Anteil sozial benachteiligter Schülerinnen und Schüler und anderen, die eine geringere Armutsdichte aufweisen. All das könnte durch die Nullmessung ermittelt werden – unter der Voraussetzung, dass sie mit Fragebögen zum sozialen und familiären Hintergrund der Schülerinnen und Schüler begleitet werden, wie das IQB das beim Bildungstrend bereits tut. 

Was aber bedeuten die Ergebnisse, die bei der wiederholten Messung nach fünf oder zehn Jahren herauskommen? Wer sagt, dass die festgestellte Verbesserung oder Verschlechterungen der Kompetenzen an einer Startchancen-Schule etwas mit dem Programm zu tun hat?

Eine berechtigte Frage – weshalb die wissenschaftliche Begleitung im Sinne formativen Assessments so wichtig ist. Wir brauchen regelmäßig erhobene Daten, wie an jeder untersuchten Schule die drei Säulen des Programms konkret umgesetzt werden, wobei mir die Baumaßnahmen noch am wenigsten ausschlaggebend erscheinen. Aber wie genau wird die Interaktion zwischen Lehrkräften, Förderkräften, Sozialarbeitern und Schülerinnen/Schülern gestaltet? Werden nur Maßnahmen etabliert, für deren Qualität es empirische Evidenz gibt? Werden zwar Förderkräfte eingestellt, müssen diese aber Vertretungs- statt Förderstunden geben? Dann, das wissen wir, würde ihre Wirkung verpuffen. 

Gehen wir also davon aus, dass sich bei der richtigen Kombination von wissenschaftlicher Begleitung und Evaluation nach fünf oder zehn Jahren ein Zusammenhang herstellen lässt zwischen den ergriffenen Maßnahmen und der Entwicklung der Schülerkompetenzen, was folgt daraus?

Das ist doch klar: Nach fünf Jahren muss die Politik bei einigen Schulen nachsteuern, und das konsequent. Vermutlich werden viele Schulen nach fünf Jahren noch weit von dem Ziel der Halbierung entfernt sein. Hoffentlich wird es auch Standorte geben, an denen man positive Effekte sieht – die sich dank der Kopplung von formativer und summativer Evaluation auf die Maßnahmen des Programms zurückführen lassen. Die Politik wird sich Gedanken machen müssen, wie sie mit denjenigen Schulen verfahren will, die über Jahre Geld bekommen haben, ohne dass es vorangeht. Sicherlich wird man dann verstärkt über neue Zielvereinbarungen sprechen müssen, mit einer verstärkten Kooperation zwischen Schulen und Schulaufsicht, damit auch diese Schulen die Früchte des Programms ernten. Das wäre zumindest meine Empfehlung.

"Es wäre furchtbar, wenn das Geld
nicht bei den Richtigen ankäme und nicht
die gewünschten Effekte hätte."

Die sie als wer aussprechen? Als Chef des IPN Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik – oder als einer der Vorsitzenden der SWK?

Ich vermute, vieles von dem, was ich hier im Interview gesagt habe, wird von den meisten Bildungsforscherinnen und Bildungsforschern in Deutschland geteilt werden. Aber nichts davon ist abgestimmt mit den übrigen 15 Mitgliedern der SWK. Letzteres auch deshalb nicht, weil wir als Ständige Wissenschaftliche Kommission bislang gar nicht explizit nach unseren konkreten Ideen zur Evaluation des Startchancen-Programms gefragt oder beauftragt worden sind.

Würden Sie gern beauftragt werden?

Natürlich würde ich mir wünschen, dass die Bildungsforschung eingebunden und um Rat gefragt wird. Nicht, weil wir auf irgendwelche zusätzlichen Forschungsgelder aus sind, sondern weil wir ein genuines Interesse daran haben, den Bund und die Länder in ihrem Vorhaben zu unterstützen. Der Bund will insgesamt zehn Milliarden Euro einsetzen, die Länder, in welcher Form auch immer, zehn weitere Milliarden dazu geben. Es wäre furchtbar, wenn das Geld nicht bei den Richtigen ankäme und nicht die gewünschten Effekte hätte. Die SWK ist allerdings eine Kommission der Kultusministerkonferenz, sie stimmt dementsprechend auch ihr Programm mit der KMK ab. Gleichwohl könnten KMK und BMBF sich zusammentun und uns in die Diskussion um eine wissenschaftliche Begleitung beziehungsweise Evaluation einbinden. Ich kann mir vorstellen, dass die SWK dann eine Stellungnahme erarbeiten und darin ausbuchstabieren würde, wie eine wissenschaftliche Begleitung, eine Evaluation und ein Monitoring des Startchancen-Programms aussehen könnte. Um das mit Leben zu erfüllen, was das Eckpunktepapier als ambitioniertes Ziel ausgegeben hat.