Halluzination ist der Fehlermodus einer Generierung ohne Fundierung. Das Modell ist darauf ausgelegt, wahrscheinlichen Text zu erzeugen, und wahrscheinlich ist nicht dasselbe wie wahr. Hat es keine echte Quelle, auf die es zurückgreifen kann, füllt es die Lücke mit plausibler Erfindung.
Die Gefahr besteht darin, dass die Ausgabe korrekt wirkt. Ein halluziniertes Zitat liest sich wie ein echtes. Eine erfundene Zahl fügt sich nahtlos in einen Satz ein. Ohne Fundierung und Quellenzuordnung gibt es kein Signal, dass etwas nicht stimmt.
Die Abwehr ist struktureller Natur: Das Modell wird in abrufbaren Quellen fundiert, und jede Aussage muss sich bis zu einer davon zurückverfolgen lassen.