99 Prozent Genauigkeit. Das klingt nach einem zuverlässigen KI-Detektor. Der Wunsch nach einem Werkzeug, das auf Knopfdruck sagt «Das war die KI», ist verständlich, und Anbieter werben mit genau solchen Zahlen. Rechnen wir trotzdem kurz nach.
Ein Prozent klingt wenig, bis man nachrechnet
Eine Schule lässt 1000 Aufsätze prüfen. Alle sind ehrlich geschrieben. Ein Prozent Fehlalarm heisst: Zehn Lernende stehen unter Verdacht, obwohl sie nichts falsch gemacht haben.
Die Fehlalarme wachsen mit der Menge. Je mehr Texte geprüft werden, desto mehr Unschuldige trifft es, auch wenn der Prozentsatz gleich bleibt. Jeder Fall ist ein schwieriges Gespräch, in dem Vertrauen auf dem Spiel steht.
Und 99 Prozent ist ein bewusst optimistischer Wert.
In der Praxis sind die Tools schlechter
Eine Forschungsgruppe um Weber-Wulff hat 2023 vierzehn Detektoren getestet. Ihr Fazit: Die Tools sind weder genau noch zuverlässig.
Eine zweite Studie von Liang und Kollegen zeigt ein Fairness-Problem. Englische Texte von Menschen, die nicht in ihrer Muttersprache schreiben, werden besonders häufig als KI markiert. Untersucht wurden englische Aufsätze, unter anderem aus dem Sprachtest TOEFL. Ob das für Deutsch als Zweitsprache genauso gilt, sagt die Studie nicht; im Video ist das verkürzt.
Die Forschenden vermuten, dass die Detektoren Menschen mit eingeschränkterem sprachlichem Ausdruck unbeabsichtigt benachteiligen. Sie raten ausdrücklich davon ab, solche Werkzeuge in Bewertungs- und Bildungssituationen einzusetzen.
OpenAI, das Unternehmen hinter ChatGPT, hat seinen eigenen Detektor im Juli 2023 wieder eingestellt. Der Grund: zu geringe Genauigkeit.
Ein Anlass zum Hinschauen, kein Beweis
Ein Detektor-Ergebnis kann höchstens ein Anlass sein, genauer hinzuschauen. Im Alltag bringt anderes mehr. Im Video empfehle ich drei Wege:
- Den Entstehungsprozess sichtbar machen. Entwürfe, Notizen und Zwischenstände gehören zur Abgabe. Wer einen Text selbst entwickelt hat, kann diesen Weg zeigen.
- Das Gespräch über den Text suchen. Kein Verhör, sondern Teil der Beurteilung: Warum dieser Aufbau? Was war schwierig?
- Aufgaben so stellen, dass eigenes Denken gefragt ist. Zum Beispiel mit Bezug auf den eigenen Unterricht, eigene Erfahrungen oder eine begründete Entscheidung.
Die Rechnung fürs eigene Kollegium
Die Rechnung oben lässt sich in jeder Teamsitzung machen. Wie viele schriftliche Arbeiten werden an eurer Schule pro Semester abgegeben? Davon ein Prozent, also der optimistische Wert. Das Ergebnis ist die Zahl der Gespräche mit ehrlichen Lernenden, die ihr führen müsstet.
Danach lohnt sich die Frage, welche Aufgaben in eurem Alltag einen Detektor überflüssig machen würden.
Vertrauen entsteht nicht durch Software, sondern durch gute Aufgaben.
Häufige Fragen
Wie zuverlässig sind KI-Detektoren?
Wenig. Eine Forschungsgruppe um Weber-Wulff testete 2023 vierzehn Detektoren und kam zum Schluss, dass sie weder genau noch zuverlässig sind. OpenAI hat seinen eigenen Detektor im Juli 2023 wegen zu geringer Genauigkeit eingestellt.
Ist das Ergebnis eines KI-Detektors ein Beweis?
Nein, höchstens ein Anlass, genauer hinzuschauen. Selbst bei optimistischen 99 Prozent Genauigkeit stünden von 1000 ehrlich geschriebenen Aufsätzen zehn Lernende zu Unrecht unter Verdacht.
Benachteiligen KI-Detektoren Menschen, die nicht in ihrer Muttersprache schreiben?
Für englische Texte ja: Laut einer Studie von Liang und Kollegen (2023) werden englische Texte von Menschen, die nicht in ihrer Muttersprache schreiben, besonders häufig als KI markiert. Für Deutsch als Zweitsprache hat die Studie das nicht untersucht. Die Forschenden raten davon ab, Detektoren in Bewertungs- und Bildungssituationen einzusetzen.
