So prüfen wir unsere Arbeitsblätter: Qualitätssicherung vom Entwurf bis zum Einsatz

Ein Arbeitsblatt kann auf den ersten Blick freundlich, übersichtlich und professionell aussehen. Entscheidend ist aber etwas anderes: Funktioniert es wirklich, wenn ein Kind damit arbeitet?

Stimmen die Zahlen? Ist die Aufgabe eindeutig lösbar? Passt die Anweisung zur geforderten Handlung? Gibt es genau die richtige Antwort, die das Blatt erwartet? Sind Texte und Ziffern lesbar? Und bleibt genügend Platz zum Schreiben und Rechnen?

Gerade bei Unterrichtsmaterialien reicht es nicht, nur ein schönes PDF zu erzeugen. Eine falsche Zahl, eine unklare Auswahl oder eine beschädigte Ziffer kann eine ganze Aufgabe unbrauchbar machen. Deshalb endet unsere Arbeit nicht mit der Erstellung eines Materials. Danach beginnt eine mehrstufige Qualitätskontrolle.

Wir möchten diesen Prozess offen zeigen. Nicht, weil wir behaupten, niemals einen Fehler zu machen. Sondern weil Käuferinnen, Käufer, Lehrkräfte und Eltern wissen sollen, dass unsere Materialien nicht ungesehen veröffentlicht werden.

Arbeitsblätter sind Gebrauchsprodukte

Unsere Materialien sind für den echten Einsatz gedacht:

• im Unterricht,

• bei der Förderung,

• in der Hausaufgabe,

• beim Üben zu Hause,

• in der Einzelarbeit,

• bei der Wiederholung.

Ein Arbeitsblatt erfüllt seinen Zweck nicht dadurch, dass es in einer Vorschau gut aussieht. Es muss ausgedruckt oder digital geöffnet, verstanden und bearbeitet werden können.

Darum prüfen wir nicht nur, ob eine Seite schön gestaltet ist. Wir prüfen auch, ob die Aufgaben fachlich stimmen und aus Kinderperspektive funktionieren.

1. Nach der Erstellung folgt eine visuelle Modellprüfung

Nach der Produkterstellung werden die Seiten zunächst mit einem geeigneten Modell visuell kontrolliert.

Dabei geht es unter anderem um:

• Lesbarkeit,

• Seitenränder,

• Aufgabenfelder,

• sichtbare Zahlen und Zeichen,

• Mengen und Bildobjekte,

• Antwortmöglichkeiten,

• Übereinstimmung zwischen Aufgabenstellung und Darstellung,

• technische Vollständigkeit der Produktdateien.

Eine solche Modellprüfung kann viele Dinge sehr systematisch erfassen. Sie ersetzt aber keine menschliche Kontrolle. Deshalb ist sie bei uns nur eine von mehreren Prüfstufen.

2. Cover und Aufgabenseiten werden von einem Menschen geprüft

Nach der visuellen Modellprüfung folgt eine menschliche Supervisor-Prüfung.

Dabei werden das Cover und jede aktive Aufgaben- oder Leseseite einzeln angesehen. Geprüft wird nicht nur, ob die Seite ordentlich aussieht. Entscheidend sind auch Fragen wie:

• Versteht ein Kind, was es tun soll?

• Passt die Anweisung zur Aufgabe?

• Ist die Lösung eindeutig?

• Stimmen Zahlenraum und Schwierigkeitsstufe?

• Sind alle benötigten Informationen auf der Seite vorhanden?

• Kann die Aufgabe sinnvoll bearbeitet und ausgewertet werden?

Wiederkehrende Informations- oder Transparenzseiten müssen nicht bei jedem Durchlauf vollständig neu bewertet werden, wenn ihre Vorlage und ihre Pflichtangaben unverändert geblieben sind. Die eigentlichen Aufgabenseiten stehen dagegen immer im Mittelpunkt.

3. Mathematikaufgaben werden zusätzlich manuell nachgerechnet

Bei Mathematik genügt es nicht, eine Seite nur anzusehen.

Deshalb wird ein großer Anteil der Aufgaben noch einmal manuell gerechnet und auf Ergebnis, Lösbarkeit und Aufgabenlogik überprüft. Unser aktueller Erfahrungswert liegt bei ungefähr 50 bis 70 Prozent der Mathematikaufgaben.

Das ist keine behauptete Vollprüfung jeder einzelnen Rechnung und keine exakt gezählte Quote. Es ist ein realistischer Erfahrungsbereich aus der laufenden Qualitätsarbeit.

Beim Nachrechnen fallen zum Beispiel Fehler auf, die in einer rein visuellen Kontrolle leicht übersehen werden können:

• eine Auswahl enthält keine richtige Lösung,

• zwei Antworten sind gleichzeitig richtig,

• eine Zahlenfolge besitzt keine klare Regel,

• eine Mengenabbildung passt nicht zur genannten Zahl,

• eine Aufgabe verlässt unbemerkt den vorgesehenen Zahlenraum,

• die Überschrift kündigt eine andere Aufgabenart an als die Seite tatsächlich enthält.

4. Ausgewählte Produkte werden praktisch erprobt

Ein Teil der Klasse-1-Produkte wird ergänzend mit einem Kind der Zielgruppe praktisch durchgearbeitet.

Der aktuelle Erfahrungswert liegt bei ungefähr 5 bis 10 Prozent der Klasse-1-Produkte. Auch das ist eine gegenwärtige Schätzung und keine vollständig gezählte Abdeckungsquote.

Diese Nutzerprüfung beantwortet andere Fragen als eine rechnerische oder visuelle Kontrolle:

• Wird die Anweisung ohne zusätzliche Erklärung verstanden?

• Ist die vorgesehene Handlung für ein Kind selbstverständlich?

• Reicht der Platz zum Schreiben?

• Ist eine formal richtige Aufgabe trotzdem irritierend?

• Passt die Schwierigkeit zur Zielgruppe?

• Funktioniert die Seite in einer echten Bearbeitungssituation?

Gerade diese Beobachtungen sind wichtig. Erwachsene erkennen häufig sofort, was mit einer Aufgabe gemeint ist. Ein Kind kann dieselbe Seite ganz anders lesen.

5. Zusätzlich prüfen wir den Bestand unabhängig und vollständig

Neben der regulären Produktprüfung führen wir unabhängige Bestandsprüfungen durch. Dabei werden die bereits durch ein Modell und einen Menschen geprüften Aufgabenseiten noch einmal systematisch untersucht.

Ein dokumentierter klassenübergreifender Prüflauf umfasste:

• 668 Produkte

• 4.118 aktive Arbeits- und Leseübungsseiten

Wir erfassen dabei bewusst nicht nur offensichtliche Fehler. Auch Grenzfälle, missverständliche Formulierungen und mögliche optische Störungen werden zunächst als Verdachtsfall notiert.

Das ist wichtig: Ein Modellbefund ist noch kein bestätigter Fehler. Die Hinweise werden anschließend menschlich bewertet. Manche werden bestätigt, manche bewusst nicht verändert und manche erweisen sich als False Positive.

So vermeiden wir, dass ein Modell selbstständig Seiten verändert, die in ihrer bisherigen Form gewollt oder vollkommen brauchbar sind.

6. Bestätigte Befunde werden kontrolliert korrigiert

Erst nach der menschlichen Entscheidung wird eine Korrektur freigegeben.

Dann werden:

• die betroffenen Seiten gezielt überarbeitet,

• notwendige Produktdateien neu gebaut,

• die sichtbare Darstellung erneut geprüft,

• Änderungen dokumentiert,

• zusammenhängende Produkte auf denselben Fehler untersucht.

Ein einzelner Befund kann auf eine größere Fehlerfamilie hinweisen. Wenn beispielsweise eine unklare Anweisung aus einer wiederverwendeten Vorlage stammt, prüfen wir nicht nur die gemeldete Seite, sondern suchen nach weiteren betroffenen Produkten.

7. Nach Korrekturen folgt erneut ein vollständiger Prüflauf

Eine Reparatur kann einen Fehler beseitigen und theoretisch an anderer Stelle einen neuen erzeugen. Deshalb endet der Prozess nicht mit dem Austausch einer einzelnen Seite.

Nach größeren Korrekturwellen prüfen wir den aktiven Bestand erneut vollständig. Dabei kontrollieren wir nicht nur die bekannten Fehlerstellen, sondern alle verwendeten Aufgabenseiten und die neu gebauten finalen Dateien.

Dieser Regressionslauf soll:

• verbliebene Altfehler finden,

• neu entstandene Darstellungsfehler erkennen,

• Aufgabenlogik erneut kontrollieren,

• sicherstellen, dass die richtige Seite im finalen Produkt gelandet ist.

Intern verstehen wir diese wiederholbare Folge aus Erstellung, Modellprüfung, Humanprüfung, praktischer Erprobung, unabhängiger Bestandsprüfung, kontrollierter Reparatur und Regression als industrielle Qualitätskette.

„Industriell“ bedeutet dabei nicht unpersönlich. Es bedeutet, dass Qualität nicht von einem einzigen guten Blick oder von Glück abhängt. Die Prüfschritte sind strukturiert, wiederholbar und auf einen großen Produktbestand übertragbar.

8. Stärkere neue Modelle können ältere Produkte erneut prüfen

AI-Modelle entwickeln sich weiter. Ein Material, das mit einer früheren Modellgeneration erstellt oder geprüft wurde, kann später von einem deutlich stärkeren Modell noch einmal neu beurteilt werden.

Wir planen solche Prüfungen nicht starr nach Kalender. Nicht jede neue Versionsnummer rechtfertigt einen vollständigen Bestandslauf.

Stattdessen testen wir große neue GPT-Modelle zunächst an:

• bekannten schwierigen Seiten,

• bereits bestätigten Fehlern,

• bekannten False Positives,

• visuell anspruchsvollen Aufgaben,

• zufällig ausgewählten unauffälligen Seiten.

Zeigt ein neues Modell dabei einen echten Fortschritt bei logischer, fachlicher oder visueller Fehlererkennung, kann es eine zusätzliche vollständige Prüfung des älteren Bestands übernehmen.

So profitieren auch bereits veröffentlichte Produkte von späteren technischen Fortschritten.

9. Was wir mit „Modell“ meinen

Im allgemeinen deutschen Sprachgebrauch werden sehr unterschiedliche Systeme pauschal als „KI“ bezeichnet. Wenn wir in diesem Beitrag von einem Modell sprechen, meinen wir damit ein leistungsfähiges System für generative AI von einem international führenden Anbieter.

Je nach Prüfstufe handelt es sich um:

• ein multimodales Large Language Model, das vollständige Seiten mit Text, Zahlen, Aufgaben und Bildern erfassen kann,

• ein Reasoning-Modell, das fachliche und logische Zusammenhänge schrittweise untersucht,

• oder ein spezialisiertes generatives Bildmodell, das eine ausdrücklich freigegebene visuelle Korrektur umsetzt.

Eine Modellprüfung bedeutet bei uns nicht, einem beliebigen Chatbot eine allgemeine Frage zu stellen und dessen erste Antwort ungeprüft zu übernehmen.

Das Prüfmodell erhält einen klar abgegrenzten Auftrag, festgelegte Qualitätskriterien und den notwendigen Produktkontext. Es soll beispielsweise untersuchen:

• ob eine Aufgabe eindeutig lösbar ist,

• ob Zahlen, Mengen und Ergebnisse zusammenpassen,

• ob Anweisung und verlangte Handlung übereinstimmen,

• ob Antwortmöglichkeiten fachlich korrekt sind,

• ob lösungsrelevante Texte und Grafiken lesbar dargestellt werden,

• ob eine Seite aus Kinderperspektive missverständlich sein könnte.

Für solche umfangreichen Prüfungen verwenden wir leistungsfähige und rechenintensive Reasoning-Modelle. Sie arbeiten systematisch über viele Seiten, vergleichen Zusammenhänge und begründen gefundene Verdachtsfälle.

Trotzdem entscheidet das Modell nicht allein über eine Änderung. Seine Befunde werden menschlich geprüft. Erst nach einer ausdrücklichen Freigabe wird ein bestätigter Fehler mit dem geeigneten Text- oder Bildmodell korrigiert und anschließend erneut kontrolliert.

Das Modell ist damit weder ein unfehlbarer Gutachter noch ein einfacher Textautomat. Es ist ein leistungsfähiges Prüfwerkzeug innerhalb einer mehrstufigen Qualitätskontrolle.

Was wir trotz aller Prüfungen nicht versprechen

Wir versprechen keine absolute Fehlerfreiheit.

Bei Tausenden Seiten und vielen Tausend Einzelaufgaben kann trotz Modellprüfung, menschlicher Kontrolle, manuellem Nachrechnen und praktischer Erprobung ein Fehler durchrutschen. Das gilt auch für professionell redigierte Unterrichtsmaterialien und gedruckte Schulbücher.

Unser Qualitätsversprechen ist deshalb ein anderes:

Wir veröffentlichen keinen bekannten harten Fehler bewusst. Wir prüfen Hinweise ernsthaft. Und wir korrigieren bestätigte Fehler.

Eine einzelne fehlerhafte Aufgabe bedeutet nicht automatisch, dass ein vollständiges Produkt schlecht ist. Sie bedeutet aber, dass wir genauer hinsehen müssen.

Wenn Sie einen Fehler finden, möchten wir davon erfahren

Unsere Arbeitsblätter sind zum Benutzen gemacht. Nicht nur zum schönen Anschauen, Ausdrucken oder Ablegen.

Wenn Ihnen beim Einsatz etwas auffällt, wenden Sie sich bitte an den Support. Hilfreich sind:

• der genaue Produkttitel,

• die betroffene Seite oder das Arbeitsblatt,

• eine kurze Beschreibung der Auffälligkeit,

• wenn möglich ein Bildschirmfoto.

Der Hinweis wird an uns weitergegeben und fachlich geprüft. Wird ein Fehler bestätigt, korrigieren wir das Material und stellen Ihnen eine überarbeitete Version zur Verfügung.

Kritik ist für uns kein Ärgernis. Ein konkreter Hinweis hilft uns, das betroffene Produkt und möglicherweise eine ganze Aufgabenfamilie zu verbessern.

Was diese Qualitätskontrolle für Sie bedeutet

Wenn Sie eines unserer Materialien einsetzen, erhalten Sie nicht einfach eine ungeprüfte AI-Ausgabe.

Sie erhalten ein Produkt, das mehrere unterschiedliche Kontrollstufen durchläuft:

• visuelle Modellprüfung,

• menschliche Seitenprüfung,

• anteiliges manuelles Nachrechnen,

• ausgewählte praktische Nutzerprüfung,

• unabhängige Bestandsprüfung,

• kontrollierte Korrektur,

• erneute vollständige Regression.

Kein einzelner Schritt ist unfehlbar. Zusammen bilden sie jedoch eine sehr starke Qualitätskontrolle.

Unser Anspruch bleibt dabei einfach:

Ein Arbeitsblatt soll nicht nur gut aussehen. Es soll fachlich stimmen, von Kindern verstanden werden und im echten Lernalltag funktionieren.