KI-Erkennungstools erkennen keine KI. Sie erkennen klares Schreiben.

Opinion.

KI-Erkennungstools sind mittlerweile in Universitäten, Nachrichtenredaktionen und Einstellungsverfahren weltweit verankert. GPTZero, ZeroGPT, Originality.ai und ihre Konkurrenten versprechen, menschliches Schreiben von maschineller Ausgabe mit wissenschaftlicher Präzision zu unterscheiden. Das können sie nicht. Was sie tatsächlich erkennen, ist eine bestimmte Art statistischer Regelmäßigkeit, die stärker mit klarer, strukturierter Prosa korreliert als mit künstlicher Intelligenz. Das Ergebnis ist ein System, das gutes Schreiben bestraft und nicht-muttersprachliche Englischsprecher unverhältnismäßig häufig markiert, während es weder eine begutachtete Methodik noch eine ehrliche Aufstellung seiner Fehlerquote bietet.

Die zentrale Behauptung dieser Tools stützt sich auf zwei Metriken: Perplexität und BurstinessIn der Textanalyse die Schwankung der Vorhersagbarkeit über ein Dokument hinweg. Menschliches Schreiben wechselt zwischen überraschenden und erwarteten Passagen; KI-generierter Text ist dagegen durchgehend gleichmäßig vorhersagbar. (Variabilität). Die Perplexität misst, wie vorhersehbar ein Text für ein Sprachmodell ist. Niedrige Perplexität bedeutet, dass das Modell den Text wenig überraschend findet; hohe Perplexität bedeutet, dass der Text unerwartete Wortwahlen enthält. Burstiness misst die Schwankung dieser Vorhersehbarkeit innerhalb eines Dokuments: überraschende Wörter und Phrasen, die über den Text verteilt sind, deuten auf hohe Burstiness hin. Die Theorie besagt, dass KI Text mit durchgehend niedriger Perplexität und niedriger Burstiness erzeugt (glatte, vorhersehbare Prosa), während menschliches Schreiben unordentlicher, vielfältiger und überraschender ist.

Das klingt vernünftig, bis man bedenkt, was es tatsächlich misst. Ein Text mit niedriger Perplexität ist nicht notwendigerweise maschinell erzeugt. Es ist ein Text, der gebräuchliches Vokabular, konventionelle Grammatik und geradlinige Satzstrukturen verwendet. In der Praxis ist es gut organisierte, klar geschriebene Prosa. Ein wissenschaftlicher Artikel mit einem logischen Argument und präziser Sprache wird als „KI-ähnlicher” eingestuft als ein wirrer Forenbeitrag voller Tippfehler und Satzfragmente. Der Detektor identifiziert keine Maschine. Er identifiziert ein Muster, das Menschen lange vor der Existenz von KI erfunden haben.

Die Voreingenommenheit gegen nicht-muttersprachliche Englischsprecher

Im Jahr 2023 veröffentlichten Forscher der Stanford University eine Studie in der Zeitschrift Patterns, die die Diskussion über KI-Erkennungstools im Bildungsbereich hätte beenden müssen. Weixin Liang und Kollegen testeten sieben beliebte GPT-Detektoren mit Aufsätzen von muttersprachlichen und nicht-muttersprachlichen Englischsprechern. Die Detektoren identifizierten Aufsätze von Muttersprachlern fast jedes Mal korrekt als von Menschen geschrieben. Aber sie klassifizierten über 61 % der TOEFL-Aufsätze, die von echten nicht-muttersprachlichen Englischstudenten verfasst wurden, als KI-generiert. Fast alle der 91 TOEFL-Aufsätze (97 %) wurden von mindestens einem Detektor markiert. Achtzehn Aufsätze wurden von allen sieben Tools einstimmig als KI-generiert eingestuft.

Der Mechanismus ist unkompliziert. Nicht-muttersprachliche Englisch-Schreiber neigen dazu, einfacheres Vokabular, kürzere Sätze und konventionellere Grammatikstrukturen zu verwenden. Sie vermeiden Redewendungen und komplexe Nebensatzeinbettungen, da dies die am schwierigsten zu erwerbenden Merkmale einer Sprache sind. Dies erzeugt genau die Art von Text mit niedriger Perplexität und niedriger Burstiness, die Detektoren als maschinelle Ausgabe interpretieren. Der Detektor weiß nicht und kümmert sich nicht darum, ob ein Mensch an einem Schreibtisch saß und diese Worte sorgfältig in einer Zweitsprache gewählt hat. Er sieht statistische Regelmäßigkeit und nennt sie künstlich.

Dies ist kein geringfügiges Kalibrierungsproblem. An Universitäten, die KI-Erkennungstools zur Überprüfung studentischer Arbeiten einsetzen, wird ein nicht-muttersprachlicher Englischsprecher, der sorgfältig und korrekt in seiner Zweitsprache schreibt, statistisch eher des Betrugs bezichtigt als ein Muttersprachler, der schlampige, unbearbeitete Arbeit einreicht. Das Tool erkennt keine Unehrlichkeit. Es erkennt den linguistischen Fingerabdruck von jemandem, der Englisch aus Lehrbüchern gelernt hat und nicht von Geburt an.

Die US-Verfassung ist offenbar KI-generiert

ZeroGPT, eines der am häufigsten genutzten kostenlosen Erkennungstools, hat 92 % der Verfassung der Vereinigten Staaten als KI-generiert eingestuft. Die Bibel hat ähnliche Ergebnisse ausgelöst. Juristische Fallzusammenfassungen aus den 1990er Jahren, Jahrzehnte vor der Existenz großer Sprachmodelle, wurden als wahrscheinlich maschinell geschrieben eingestuft. Dies sind keine Grenzfälle oder gegnerische Eingaben, die das System brechen sollen. Es sind einfache Texte, in formellem Englisch verfasst, mit der Art struktureller Klarheit, die Detektoren als nicht-menschlich interpretieren.

Das sollte disqualifizierend sein. Ein Tool, das nicht zwischen dem Gründungsdokument einer Demokratie und einer ChatGPT-Ausgabe unterscheiden kann, erkennt keine KI. Es erkennt Formalität. Es erkennt Kohärenz. Es erkennt ein Kompressionsartefakt seiner eigenen Methodik, keine Eigenschaft des Textgesprüngs.

Keine begutachtete Methodik, keine offengelegten Fehlerquoten

Die Unternehmen hinter KI-Erkennungstools veröffentlichen Genauigkeitsangaben, die in Marketingmaterialien beeindruckend klingen: 99 % Genauigkeit, 98 % Präzision. Diese Zahlen stammen aus internen Benchmarks, getestet an Datensätzen, die die Unternehmen selbst auswählen und kontrollieren. Unabhängige Bewertungen erzählen eine andere Geschichte. Eine Stanford-Analyse von 2024 fand Falsch-Positiv-Raten für GPTZero zwischen 5 % und 15 %, je nach Textgattung. Studien zu ZeroGPT berichten von Falsch-Positiv-Raten über 20 %, was bedeutet, dass das Tool menschlichen Text mehr als einmal von fünf Malen fälschlich als KI-geschrieben markiert.

Kein bedeutendes KI-Erkennungstool hat seine Kernmethodik einer unabhängigen Begutachtung unterzogen. Die proprietären Modelle sind Blackboxes. Nutzer können die Entscheidungsgrenze nicht einsehen, nicht verstehen, warum ein bestimmter Text markiert wurde, und ein Ergebnis nicht sinnvoll anfechten. Wenn eine Universität diese Tools zur Beurteilung von Fällen akademischer Integrität einsetzt, lagert sie eine folgenreiche Entscheidung an ein kommerzielles Produkt aus, dessen interne Logik geheim und dessen Fehlerquote bestenfalls unzureichend charakterisiert ist.

Vergleichen Sie das mit anderen forensischen Werkzeugen, die für Entscheidungen mit hohem Einsatz verwendet werden. Die DNA-Analyse verfügt über veröffentlichte Fehlerquoten, standardisierte Protokolle und Jahrzehnte begutachteter Validierung. Selbst die Fingerabdruckanalyse, trotz ihrer bekannten Einschränkungen, arbeitet nach veröffentlichten Standards. KI-Erkennungstools verlangen, mit derselben epistemischen Autorität behandelt zu werden, ohne dieselbe Rechenschaftspflicht zu bieten.

Voreingenommenheit in eine objektive Zahl waschen

Das tiefste Problem der KI-Erkennungstools ist nicht ihre Ungenauigkeit, obwohl sie ungenau sind. Es ist, dass sie ein subjektives, kulturell aufgeladenes Urteil („dieses Schreiben wirkt zu sauber, um menschlich zu sein”) in einen numerischen Score umwandeln, der objektiv aussieht. Ein Professor, der die Arbeit eines Studenten nicht benoten wollte, weil sie „zu geschliffen klingt”, würde auf berechtigten Widerspruch stoßen. Aber ein Professor, der auf einen KI-Wahrscheinlichkeitsscore von 94 % von GPTZero verweist, kann dasselbe Bauchgefühl als datengestützte Analyse darstellen.

Das ist Voreingenommenheitswäsche. Das Tool erbt jede Annahme, die in seine Trainingsdaten und seinen Erkennungsschwellenwert eingebacken ist, und präsentiert die Ausgabe dann als neutrale Messung. Die Annahmen umfassen: dass menschliches Schreiben von Natur aus unordentlich ist, dass Vorhersehbarkeit Künstlichkeit signalisiert, dass sprachliche Raffinesse in einer Zweitsprache verdächtig ist. Keine dieser Annahmen wird ausgesprochen. Keine ist vertretbar. Aber sie sind im Modell kodiert und werden dem Nutzer als Prozentzahl geliefert.

Das Muster ist vertraut. Kreditbewertungsalgorithmen, die Postleitzahlen als Stellvertreter für die Hautfarbe bestrafen. Einstellungstools, die Lebensläufe mit Namen bestimmter Ethnien herabstufen. Rückfallprognosemodelle, die Armutsindikatoren als Risikofaktoren markieren. In jedem Fall ist der Mechanismus derselbe: ein System, das strukturelle Voreingenommenheit in eine Zahl verwandelt und sich dann hinter der scheinbaren Objektivität der Zahl versteckt.

Der logische Endpunkt: Schlechter schreiben, um zu beweisen, dass man ein Mensch ist

Wenn KI-Erkennungstools zum Standard der Bewertung von Texten werden, kehrt sich die Anreizstruktur um. Studenten lernen, weniger klar zu schreiben, mehr Umgangssprache zu verwenden, bewusste Unvollkommenheiten einzubauen und die Art strukturierter Argumentation zu vermeiden, die eine Markierung auslöst. Fachleute lernen, ihre Prosa aufzurauen. Nicht-Muttersprachler lernen, dass ihre sorgfältige, mühsam erworbene Beherrschung des Englischen selbst ein Beweis gegen sie ist.

Der logische Endpunkt dieses Systems ist absurd und verdient eine klare Formulierung: Je schlechter Sie schreiben, desto menschlicher sind Sie. Klarheit wird verdächtig. Kohärenz wird zum Betrugsindiz. Das größte Kompliment, das ein Erkennungstool Ihrem Schreiben machen kann, ist Sie zu beschuldigen, es nicht geschrieben zu haben.

Das ist keine Hypothese. Studenten wurden bereits beschuldigt, KI verwendet zu haben, weil sie gut geschriebene Arbeiten eingereicht hatten. Akademiker haben erlebt, dass ihre Aufsätze markiert wurden. Das Center for Democracy and Technology veröffentlichte 2024 ein Briefing, das die unverhältnismäßigen Auswirkungen auf Englischlernende dokumentiert und davor warnt, dass diese Tools ein Zweiklassensystem schaffen könnten, in dem sprachliche Kompetenz selbst zur Belastung wird.

Das stärkste Argument und warum es scheitert

Das stärkste Argument für diese Erkennungsprodukte ist, dass etwas besser ist als nichts. Universitäten stehen vor einem echten Problem: Studenten können jetzt mit wenigen Tastenschlägen passable Aufsätze generieren, und die traditionelle Plagiatserkennung (die gegen eine Datenbank bestehender Texte prüft) kann originale KI-Ausgabe nicht erkennen. Institutionen brauchen einen Mechanismus zur Wahrung akademischer Integrität, und unvollkommene Detektoren, so das Argument, bieten zumindest einen Ausgangspunkt für eine Untersuchung.

Dieses Argument scheitert aus einem bestimmten Grund. Ein Tool mit einer Falsch-Positiv-Rate von 10 bis 20 %, eingesetzt im großen Maßstab bei Tausenden von Studenten, bietet keinen Ausgangspunkt für eine Untersuchung. Es bietet einen Ausgangspunkt für eine Anklage. In der Praxis wird der Score zum Urteil. Studenten, die von diesen Tools markiert werden, tragen die Beweislast, dass sie ihre eigene Arbeit geschrieben haben, eine Umkehr der Unschuldsvermutung, die in jedem anderen Kontext inakzeptabel wäre. Und die Studenten, die am ehesten markiert werden, sind diejenigen, deren Schreibmuster, sei es aufgrund ihres sprachlichen Hintergrunds oder ihrer stilistischen Disziplin, zufällig dem statistischen Profil ähneln, das das Tool mit Maschinen assoziiert.

Der bessere Ansatz ist auch der schwierigere: Prüfungen zu gestalten, die KI nicht leicht reproduzieren kann (Schreiben im Unterricht, mündliche Verteidigung, Prozessdokumentation), in eine Pädagogik zu investieren, die KI-Unterstützung zu einem Werkzeug statt einer Abkürzung macht, und zu akzeptieren, dass sich die Schreiblandschaft auf eine Weise verändert hat, die ein kommerzielles Erkennungsprodukt nicht rückgängig machen kann.

Was KI-Erkennungstools wirklich sind

KI-Erkennungstools sind Vertrauensprodukte. Sie verkaufen Gewissheit an Institutionen, die wegen einer Technologie beunruhigt sind, die sie nicht vollständig verstehen. Der 94-%-Wahrscheinlichkeitsscore ist keine Messung der Realität. Er ist eine Messung des internen Zustands des Modells, die die statistischen Eigenschaften eines Textes gegen eine Trainingsverteilung spiegelt, die Klarheit mit Künstlichkeit verwechselt.

Die Tools wissen nicht, wer einen Text geschrieben hat. Sie können es nicht wissen. Sie können nur berichten, wie überrascht ein Sprachmodell von den Wortwahlen des Textes wäre. Und Überraschung, wie sich herausstellt, korreliert schlecht mit der Urheberschaft. Ein Mensch, der klar schreibt, überrascht das Modell nicht mehr als eine Maschine. Eine Maschine, die angewiesen wird, sprunghaft zu schreiben, überrascht es nicht weniger als ein Mensch.

Solange sich diese Tools nicht einer unabhängigen Validierung unterziehen, ehrliche Fehlerquoten über demographische Gruppen hinweg veröffentlichen und nachweisen, dass ihre Methodik einer Begutachtung standhält, sollten sie bei keiner Entscheidung eingesetzt werden, die den akademischen Status, die Karriere oder den Ruf einer Person betrifft. Der aktuelle Stand der KI-Erkennung ist kein Technologieproblem, das auf einen besseren Algorithmus wartet. Es ist ein epistemologisches Versagen: der Glaube, dass ein statistischer Stellvertreter für Schreibstil das Wissen über die Urheberschaft ersetzen kann. Das kann er nicht.

Quellen

• Liang, W. et al. (2023). „GPT Detectors Are Biased Against Non-Native English Writers.” Patterns, 4(7).
• Stanford HAI: „AI-Detectors Biased Against Non-Native English Writers” (2023)
• Center for Democracy and Technology: „Disproportionate Effects of Generative AI-Detectors on English Learners” (2024)
• Sensei Enterprises: „AI Detector Believes the U.S. Constitution Was Written by AI” (2023)
• The Conversation: „We Pitted ChatGPT Against Tools for Detecting AI-Written Text, and the Results Are Troubling” (2023)