Halucinace jazykových modelů a jak je v praxi omezit

Jazykový model neříká pravdu ani nepravdu — předpovídá nejpravděpodobnější další slovo. Většinou to vede k užitečné odpovědi, někdy k sebevědomě podanému nesmyslu. Tomuto jevu se říká halucinace a v produkčním nasazení je to riziko, které je třeba aktivně řídit.

Co jsou halucinace jazykového modelu

Model nemá vnitřní „databázi faktů“. Pracuje se vzory z trénovacích dat, a když mu chybí opora, doplní pravděpodobně znějící text. Problém není v tom, že se mýlí — problém je, že se mýlí sebevědomě a bez varování.

Co se proti nim dá dělat

Halucinace nelze zcela odstranit, lze je však výrazně potlačit kombinací technik:

• Ukotvení v datech (RAG): model odpovídá z dodaných podkladů, ne z paměti, a může citovat zdroj.
• Strukturovaný výstup: místo volného textu vyžadujeme přesný formát, který lze strojově ověřit.
• Validace: výstup projde kontrolními pravidly ještě před použitím — čísla musí sedět, odkazy existovat.
• Evaluace: na sadě reálných příkladů průběžně měříme, jak často model chybuje.

Člověk jako poslední pojistka

U citlivých rozhodnutí nikdy nespoléháme jen na model. Tam, kde chyba něco stojí, zůstává v procesu kontrolní bod s člověkem. Důvěra v AI nevzniká tím, že jí slepě věříme, ale tím, že víme, kde jsou její hranice — a podle toho navrhneme systém kolem ní.

Jak to řešíme v našich řešeních

Nestavíme na tom, že model nebude chybovat. Stavíme systém, ve kterém je chyba zachytitelná: model vrací strukturovaná data, která se dají ověřit, odpovědi jsou vázané na konkrétní zdroj a tam, kde chyba něco stojí, zůstává v procesu člověk.

Pokud zvažujete AI funkci, při které by nesprávná odpověď bolela, napište nám. Víc je na stránce služeb.