Immer wieder hört man die Klage, dass es schwierig bis unmöglich sei, einen etwa von ChatGPT generierten wissenschaftlichen Text zu erkennen. Nun, der überzeugendste Hinweis auf einen von KI generierten Text ist der Wert 0 % Ähnlichkeit (oder ein nur sehr geringer Ähnlichkeitswert) bei der Plagiatsprüfung des Textes mit Turnitin. Gemäß der Logik generativer KI sind die erzeugten Sätze gerade nicht schon existierend (und könnten damit „plagiiert“ sein), sondern werden je nach Wahrscheinlichkeit des nachfolgenden Wortes neu produziert. Dies ergibt bei der Prüfung mit Plagiatssoftware stets einen sehr geringen Ähnlichkeitswert, im besten Fall die Null. Nicht von KI generierte Texte haben einen Wert von zehn Prozent oder mehr, weil ja real existierende Zitate und real existierende Literaturquellen verwendet wurden.
Hier ein Beispiel aus einem zweieinhalb Manuskriptseiten langen Text zur Philosophie Josef Mitterers, den ChatGPT generiert hat. Der Text wurde auf Wunsch des Benutzers mit direkten Zitaten und Literaturangaben angereichert. Der Ähnlichkeitswert bei Turnitin ist 0 %:
Alle fünf Bücher von Josef Mitterer sind halluziniert. ChatGPT ist sich dieses Mankos aber nicht bewusst, sondern verweist nur auf die Fiktionalität der direkten Literaturzitate. Ganz im Gegenteil wird sogar empfohlen, in den nicht existierenden Werken nach echten Zitaten nachzuschlagen:
Interessant wird es, wenn ChatGPT in den References reale mit halluzinierten Literaturangaben vermischt. Man mag also Turnitin „invers“ lesen: Literaturangaben, die nicht eingefärbt sind, sind mit sehr hoher Wahrscheinlichkeit halluziniert (denn irgendwo im Netz müsste der Titel ja bereits erwähnt/zitiert worden sein).
Betrachten wir folgendes Beispiel: Ich habe ChatGPT nach den Unterschieden zwischen Niklas Luhmanns Systemtheorie und der Distinktionstheorie von Rodrigo Jokisch gefragt. Die folgende Literatur wurde angegeben:
Mit Turnitin lässt sich nun genau erkennen, welche Bestandteile dieser Angaben halluziniert sind:
Das epochale Werk Niklas Luhmanns, „Soziale Systeme. Grundriß einer allgemeinen Theorie“, stammt nicht von 1995, sondern von 1984. Rodrigo Jokisch hat ein Buch mit dem Titel „Distinktion und soziale Ungleichheit. Eine Analyse sozialer Differenzierungsprozesse“ nie geschrieben, vielmehr heißt sein Hauptwerk „Logik der Distinktionen“ (1996). Auch bei Pierre Bourdieu ist ChatGPT eine Unschärfe unterlaufen: Der Untertitel lautet „Kritik der gesellschaftlichen Urteilskraft“ und nicht „der gesellschaftlichen Urteile“.
Es ist also erstaunlich simpel, von KI gefakete Literatur zu erkennen: durch die Nicht-Markierung von Turnitin. Diese Logik lässt sich auch auf direkte Zitate anwenden: Werden sie nicht markiert, sind sie mit großer Wahrscheinlichkeit halluziniert.