Wie man mit Turnitin von generativer KI halluzinierte direkte Zitate und Literaturangaben invers erkennt

Immer wieder hört man die Klage, dass es schwierig bis unmöglich sei, einen etwa von ChatGPT generierten wissenschaftlichen Text zu erkennen. Nun, der überzeugendste Hinweis auf einen von KI generierten Text ist der Wert 0 % Ähnlichkeit (oder ein nur sehr geringer Ähnlichkeitswert) bei der Plagiatsprüfung des Textes mit Turnitin. Gemäß der Logik generativer KI sind die erzeugten Sätze gerade nicht schon existierend (und könnten damit „plagiiert“ sein), sondern werden je nach Wahrscheinlichkeit des nachfolgenden Wortes neu produziert. Dies ergibt bei der Prüfung mit Plagiatssoftware stets einen sehr geringen Ähnlichkeitswert, im besten Fall die Null. Nicht von KI generierte Texte haben einen Wert von zehn Prozent oder mehr, weil ja real existierende Zitate und real existierende Literaturquellen verwendet wurden.

Hier ein Beispiel aus einem zweieinhalb Manuskriptseiten langen Text zur Philosophie Josef Mitterers, den ChatGPT generiert hat. Der Text wurde auf Wunsch des Benutzers mit direkten Zitaten und Literaturangaben angereichert. Der Ähnlichkeitswert bei Turnitin ist 0 %:

Alle fünf Bücher von Josef Mitterer sind halluziniert. ChatGPT ist sich dieses Mankos aber nicht bewusst, sondern verweist nur auf die Fiktionalität der direkten Literaturzitate. Ganz im Gegenteil wird sogar empfohlen, in den nicht existierenden Werken nach echten Zitaten nachzuschlagen:


Interessant wird es, wenn ChatGPT in den References reale mit halluzinierten Literaturangaben vermischt. Man mag also Turnitin „invers“ lesen: Literaturangaben, die nicht eingefärbt sind, sind mit sehr hoher Wahrscheinlichkeit halluziniert (denn irgendwo im Netz müsste der Titel ja bereits erwähnt/zitiert worden sein).

Betrachten wir folgendes Beispiel: Ich habe ChatGPT nach den Unterschieden zwischen Niklas Luhmanns Systemtheorie und der Distinktionstheorie von Rodrigo Jokisch gefragt. Die folgende Literatur wurde angegeben:

Mit Turnitin lässt sich nun genau erkennen, welche Bestandteile dieser Angaben halluziniert sind:

Das epochale Werk Niklas Luhmanns, „Soziale Systeme. Grundriß einer allgemeinen Theorie“, stammt nicht von 1995, sondern von 1984. Rodrigo Jokisch hat ein Buch mit dem Titel „Distinktion und soziale Ungleichheit. Eine Analyse sozialer Differenzierungsprozesse“ nie geschrieben, vielmehr heißt sein Hauptwerk „Logik der Distinktionen“ (1996). Auch bei Pierre Bourdieu ist ChatGPT eine Unschärfe unterlaufen: Der Untertitel lautet „Kritik der gesellschaftlichen Urteilskraft“ und nicht „der gesellschaftlichen Urteile“.

Es ist also erstaunlich simpel, von KI gefakete Literatur zu erkennen: durch die Nicht-Markierung von Turnitin. Diese Logik lässt sich auch auf direkte Zitate anwenden: Werden sie nicht markiert, sind sie mit großer Wahrscheinlichkeit halluziniert.

2 Kommentare zu “Wie man mit Turnitin von generativer KI halluzinierte direkte Zitate und Literaturangaben invers erkennt

Neuen Kommentar verfassen

  1. Merlin

    Ich habe Turnitin (bei JustDone) ausprobiert und diverse, garantiert selbst verfasste Texte wissenschaftlicher und literarischer Art sowohl auf Plagiat als auch auf KI geprüft. Dabei erhielt ich durchgehend KI-Werte über 80%. Verglichen mit einem existierenden Wikipedia-Artikel ergaben meine Texte bei der Plagiatsprüfung kaum Unterschiede (94 zu 95% Plagiatsquote bzw. 8 zu 10% identisch!). Gezielt verwendete ich auch unlogische Texte (z.B. über blaue rülpsende Bananen), die eine KI niemals schreiben könnte, was den Wert auf 100% hochtrieb! Fazit: Die KI-Textprüfer sind genauso untauglich wie KI-Chats selbst. Aufgrund der Masse von geschriebenen Texten ist es wohl auch nachvollziehbar, dass es kaum mehr möglich ist, im Bereich des Sinnvollen etwas Einzigartiges zu schreiben.
    Der obige Text erhielt eine Plagiatsquote von 62%, 10% identisch, 32% leicht abgewandelt und 30% paraphrasiert, obwohl ich den Text soeben ohne jegliche Vorlage verfasst habe. Der KI-Detektor ermittelte 87%…
    Möglicherweise ist Turnitin hilfreich, wenn man sicher ist, dass jemand plagiierte und man die Quelle herausfinden will. Ob jemand plagiiert, ist dagegen damit nicht ermittelbar.

    Antworten

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Die maximale Dateigröße für den Upload: 20 MB. Sie können hochladen: Bilddatei, Dokument, Spreadsheet, Textdatei. Links zu YouTube, Facebook, Twitter und anderen Dienstanbietern werden automatisch eingebunden. Dateien hierhin ziehen