← Slovníček pojmů

Halucinace

anglicky: hallucination

Halucinace je odpověď, která zní naprosto samozřejmě, ale není pravdivá — vymyšlená citace, neexistující paragraf, smyšlené číslo. Model neví, že si vymýšlí; skládá pravděpodobné pokračování textu.

Není to porucha, kterou půjde jednou opravit. Model odhaduje, jak text pravděpodobně pokračuje, a přesvědčivá lež je často pravděpodobnější než přiznání „nevím“. Nejnáchylnější jsou přesné údaje: jména, data, čísla paragrafů, odkazy a rozpočty.

Obrana je jednoduchá a nudná: chtít zdroj, ověřit si ho a nedávat modelu úkoly, kde je jediným zdrojem pravdy on sám. Zapnuté vyhledávání na webu riziko snižuje, ale neodstraní — model může špatně přečíst i skutečnou stránku.

Příklad

Modely si běžně vymýšlejí odkazy: adresa vypadá jako platný odkaz na zákon, ale vede na chybu 404. Vždycky ho zkuste otevřít.

Kde na to narazíte

Souvisí s tím