KI-Detektoren sind kein Beweis

Seit Sprachmodelle ganze Aufsätze schreiben, wächst der Wunsch nach einem Werkzeug, das auf Knopfdruck sagt: Das war die KI. Anbieter von KI-Detektoren versprechen genau das, oft mit beeindruckenden Prozentzahlen. Das Problem liegt nicht nur darin, dass diese Zahlen in der Praxis selten halten. Es liegt schon in der Rechnung selbst.

Ein Prozent klingt wenig, bis man nachrechnet

Nimm an, ein Detektor liegt in 99 Prozent der Fälle richtig. Deine Schule lässt 1000 Aufsätze prüfen, und alle sind ehrlich geschrieben. Ein Prozent Fehlalarm heisst dann: Zehn Lernende stehen unter Verdacht, obwohl sie nichts falsch gemacht haben.

Schon bei 99 Prozent Genauigkeit geraten von 1000 ehrlichen Aufsätzen zehn unter Verdacht.

Das Entscheidende an dieser Rechnung: Die Fehlalarme wachsen mit der Menge. Je mehr Texte geprüft werden, desto mehr Unschuldige trifft es, auch wenn der Prozentsatz gleich bleibt. Und jeder dieser Fälle ist ein schwieriges Gespräch, bei dem Vertrauen auf dem Spiel steht. Dabei ist 99 Prozent ein bewusst optimistischer Wert.

Was die Forschung zeigt

In der Praxis schneiden die Werkzeuge deutlich schlechter ab. Eine Forschungsgruppe um Weber-Wulff hat 2023 vierzehn Detektoren getestet. Ihr Fazit: Die Tools sind weder genau noch zuverlässig.

Drei Befunde aus der Forschung zu KI-Detektoren.

Eine zweite Studie von Liang und Kollegen zeigt ein Fairness-Problem. Englische Texte von Menschen, die nicht in ihrer Muttersprache schreiben, werden besonders häufig als KI markiert. Untersucht wurden englische Aufsätze, unter anderem aus dem Sprachtest TOEFL; ob das für Deutsch als Zweitsprache genauso gilt, sagt die Studie nicht. Im Video ist das verkürzt. Die Forschenden vermuten, dass die Detektoren Menschen mit eingeschränkterem sprachlichem Ausdruck unbeabsichtigt benachteiligen. Sie raten ausdrücklich davon ab, solche Werkzeuge in Bewertungs- und Bildungssituationen einzusetzen.

Und selbst OpenAI, das Unternehmen hinter ChatGPT, hat seinen eigenen Detektor im Juli 2023 wieder eingestellt, wegen zu geringer Genauigkeit.

Was stattdessen hilft

Ein Detektor-Ergebnis ist kein Beweis. Es kann höchstens ein Anlass sein, genauer hinzuschauen. Was im Alltag mehr bringt, sind meine drei Empfehlungen aus dem Video:

1. Den Entstehungsprozess sichtbar machen. Entwürfe, Notizen und Zwischenstände gehören zur Abgabe. Wer einen Text selbst entwickelt hat, kann diesen Weg zeigen.
2. Das Gespräch über den Text suchen. Nicht als Verhör, sondern als Teil der Beurteilung: Warum dieser Aufbau? Was war schwierig?
3. Aufgaben so stellen, dass eigenes Denken gefragt ist. Zum Beispiel mit Bezug auf den eigenen Unterricht, eigene Erfahrungen oder eine begründete Entscheidung.

Drei Wege, die mehr bringen als ein Detektor-Ergebnis.

Eine Übung fürs Kollegium

Mein Vorschlag für die nächste Teamsitzung: Schätzt gemeinsam, wie viele schriftliche Arbeiten an eurer Schule pro Semester abgegeben werden. Rechnet dann mit einem Prozent Fehlalarm, also dem optimistischen Wert. Die Zahl, die dabei herauskommt, sind die Gespräche mit ehrlichen Lernenden, die ihr führen müsstet. Danach lohnt sich die Frage: Welche Aufgaben in unserem Alltag würden einen Detektor überflüssig machen?

Vertrauen entsteht nicht durch Software, sondern durch gute Aufgaben.