Prüfung auf ungekennzeichnete Verwendung von generativer KI
Sie haben den Verdacht, dass für eine schriftliche Arbeit generative Künstliche Intelligenz verwendet wurde, ohne dass dies entsprechend ausgewiesen wurde? Wir prüfen für Sie abschließende Arbeiten an Schulen, akademische Abschlussarbeiten von Bachelorarbeiten bis Doktorarbeiten, Motivationsschreiben und andere in Verdacht stehende Textsorten auf die ungekennzeichnete Verwendung von KI.
ChatGPT, Microsoft Copilot, Google Gemini oder Claude stellen eine Revolution dar, auf die ich erstmals – zum Stand der damaligen Sprachmodelle – in meinem Buch „Roboterjournalismus, Chatbots & Co. Wie Algorithmen Inhalte produzieren und unser Denken beeinflussen“ (Heise Verlag, 2018) hingewiesen habe.
Ungekennzeichnete KI-generierte Texte sind keine Plagiate. Am ehesten sind sie dem Ghostwriting zuzuordnen, wobei der Geist aber aus der Maschine kommt.
Indikatoren für KI-Betrug: Manuelle Analyse
Wir haben schon 2023 eine Checkliste erarbeitet, wie man von KI generierte Texte erkennen kann. Die Liste wurde seitdem wesentlich erweitert, eine neue Fassung finden Sie auch in meinem neuesten Buch „Wissenschaftlichen Textbetrug erkennen. Plagiate | Ghostwriting | KI“ (Edition Tandem, 2024). Wir wenden diese Indikatoren-Liste mittlerweile wie bei der Autorschaftsprüfung (Stilometrie) an.
Softwarebasierter Ansatz: Inverses Generieren von Prompts
Außerdem entwickeln wir derzeit den Prototypen einer Textbetrugserkennungssoftware unter dem Label „Check the Text™“ weiter.
Mit der Kombination von manueller und softwarebasierter Analyse können wir einen Wahrscheinlichkeitswert bestimmen, dass ein Text nicht von einem Menschen verfasst wurde.
Ein KI-generierter Text ist meist die Folge einer Frage (Prompt). Stellen Sie demselben System dieselbe Frage mehrmals, erhalten Sie sehr ähnlich klingende Antworten. Gewisse formelhafte Sätze wiederholen sich oft sogar identisch, vor allem am Ende einer Antwort. Eine Software, die invers arbeitet, das heißt auf Basis eines verdächtigen Textes wahrscheinliche Prompts generieren kann, würde KI-erzeugte Texte erkennen. Daran arbeiten wir derzeit.
Das große Problem halluzinierter Literaturquellen
Ein zweiter Ansatz ist die Erkennung von KI-produzierten Halluzinationen. Ein zunehmendes Problem an Universitäten und Schulen sind von der KI generierte, nicht-existierende Literaturquellen. Hier arbeiten wir an einem Ansatz, der auf Datenbanken mit einheitlichen Literaturquellen-Identifikatoren zugreift.
Lehrende berichten mittlerweile vom neuen Phänomen der ChatGPT-Sucht. ChatGPT wird nicht nur im Unterricht häufig befragt, das System gilt mittlerweile für viele als die seriöseste Quelle überhaupt, als die erste Instanz (vielleicht wie früher Wikipedia). Das Problem des Halluzinierens, das sich bei weitem nicht nur auf Literaturquellen beschränkt, wird dabei verkannt.
