Halucinace jazykových modelů a jak je v praxi omezit

Jazykový model neříká pravdu ani nepravdu — předpovídá nejpravděpodobnější další slovo. Většinou to vede k užitečné odpovědi, někdy k sebevědomě podanému nesmyslu. Tomuto jevu se říká halucinace a v produkčním nasazení je to riziko, které je třeba aktivně řídit.

Proč k nim dochází

Model nemá vnitřní „databázi faktů“. Pracuje se vzory z trénovacích dat, a když mu chybí opora, doplní pravděpodobně znějící text. Problém není v tom, že se mýlí — problém je, že se mýlí sebevědomě a bez varování.

Co s tím děláme

Halucinace nelze zcela odstranit, lze je však výrazně potlačit kombinací technik:

• Ukotvení v datech (RAG): model odpovídá z dodaných podkladů, ne z paměti, a může citovat zdroj.
• Strukturovaný výstup: místo volného textu vyžadujeme přesný formát, který lze strojově ověřit.
• Validace: výstup projde kontrolními pravidly ještě před použitím — čísla musí sedět, odkazy existovat.
• Evaluace: na sadě reálných příkladů průběžně měříme, jak často model chybuje.

Člověk jako poslední pojistka

U citlivých rozhodnutí nikdy nespoléháme jen na model. Tam, kde chyba něco stojí, zůstává v procesu kontrolní bod s člověkem. Důvěra v AI nevzniká tím, že jí slepě věříme, ale tím, že víme, kde jsou její hranice — a podle toho navrhneme systém kolem ní.