Warum du ChatGPT nicht als Suche nutzen solltest

Antworten, die Sprachmodelle auf deine Such- oder Wissens-Fragen geben, solltest du immer kritisch gegenüberstehen und überprüfen. Der Grund – und eine persönliche Anekdote als warnendes Beispiel.

Warum du kritisch sein solltest?
Weil ChatGPT und Co. fehlerhaft sein können. Zum einen ist ihr Datensatz eventuell zu alt – und sie wissen zum Beispiel noch überhaupt nichts davon, dass Donald Trump seit Januar wieder Präsident der USA ist. Oder ihre Annahmen basieren auf Falschinformationen, weil sie „gute“ nicht von „schlechten“ Informationen unterscheiden können. Und bisweilen halluzinieren sie einfach, manchmal sogar, weil sie dir einfach gefallen wollen.

Studie zeigt Datenprobleme

In einer im November 2024 veröffentlichen Studie fragten Forscher ChatGPT nach den Quellen von 200 Zitaten; in 146 gab ChatGPT die falsche Antwort. Das Sprachmodell scheitert daran, all das gespeicherte Wissen auf Plausibilität zu prüfen – oder kurz gesagt: Es ist, als würde man ein Kinderhirn mit verschiedenen Informationen vollstopfen und dann meinen, das Kind könnte nur korrekte Antworten geben. Selbst, wenn ChatGPT wüsste, was richtig oder falsch ist, kann es sich einfach ab und an vertun.

Eine Anekdote: Claude.Ai erfindet Olsenbande-Dokumentation

Eine Anekdote dazu aus meiner persönlichen Erfahrung: Ich nutze Claude.Ai als Schreibpartner – die KI kontrolliert für mich Plausibilität, Grammatik, macht Vorschläge zu Verbesserungen etc.; nicht hier aber zum Beispiel in anderen Texten, die ich beruflich so erstelle. Eines Sonntags zappte ich durchs TV-Programm und sah einen Olsenbande-Film. Weil ich Claude gerade offen hatte, fragte ich: "Wieso ist die Olsenbande in der DDR eigentlich so beliebt gewesen?" Claude antwortete und listete – ohne, dass ich es verlangt hätte – 14 Olsenbande-Filme. Der Film, der da aber gerade lief, war nicht darunter. Ich ging also zur Wikipedia, schlug nach und fragte Claude dann, was es mit 'Der (voraussichtlich) letzte Streich der Olsenbande' auf sich habe. Claude korrigierte daraufhin nicht etwa die Liste, sondern erfand eine Dokumentation mit dem Titel des sechsten Films. Ich korrigierte Claude und fragte, ob es die Dokumentation denn gebe. Die KI verneinte und schrieb: Sorry, habe ich "erfunden" - ja, in Anführungszeichen.

Hier der Screenshot:

Nun ist nicht jede Frage mit der Auflistung von 14 Filmen verbunden und so speziell wie das Wissen um eine dänische Filmreihe in der DDR. Jedoch gibt es zu der Reihe jede Menge Informationen auf Wikipedia. Und schon die ist in schulischem oder akademischem Umfeld nicht als Primärquelle zugelassen.

Bei Such-Ergebnissen von Sprachmodellen gilt: Kritisch bleiben

Umso mehr sollte man die vermeintlichen Wissens-Ergebnisse von Sprachmodellen anzweifeln.

ChatGPT zusammen mit Microsoft CoPilot, ebenso wie Perplexity AI oder Googles Gemini haben mit ihren spezialisierten Such-KIs mittlerweile Lösungen im Angebot, die offen mit ihren Quellen arbeiten und diese auch anzeigen. Hier sind Fehler dann schneller nachvollziehbar. Insgesamt gilt – vor allem, wenn es um Wissen jenseits des Trivia geht – aber auch weiterhin: Doppelt hält besser; und damit ist die Überprüfung gemeint.