Kde AI nepoužít (a proč vám to nikdo neřekne)

Jsme firma, která staví AI řešení. Tenhle článek je proto trochu proti našim krátkodobým zájmům. Ale klient, který si za rok řekne, že mu někdo prodal nesmysl, je horší než zakázka, kterou jsme nevzali.

Takže: kam AI nepatří.

Tam, kde stačí obyčejný kód

Tohle je zdaleka nejčastější případ a zároveň nejtrapnější.

Viděli jsme jazykový model, který rozhodoval, jestli má objednávka nárok na dopravu zdarma. Pravidlo znělo: nad sto eur ano. Jedna podmínka v kódu. Místo toho tam bylo volání API, které stálo peníze, trvalo dvě vteřiny, občas vrátilo špatnou odpověď a nedalo se pořádně otestovat.

Když se dá pravidlo napsat, napište pravidlo. Je to levnější, rychlejší a nesplete se to. Model nasazujte až tam, kde pravidlo napsat neumíte.

Přesné výpočty

Jazykový model nepočítá. Předpovídá, jak by měl výsledek vypadat, což je něco úplně jiného.

U malých čísel to většinou vyjde, protože podobné příklady viděl v tréninku. U vašich čísel — 14 položek, tři sazby DPH, sleva a zaokrouhlení — to vyjde taky, většinou. To „většinou" je přesně ten problém.

Ceny, daně, mzdy, sklad, účetnictví. Všechno obyčejná aritmetika v kódu. Model může nanejvýš přečíst čísla z dokumentu — sečíst je musí někdo jiný.

Rozhodnutí s právním dopadem

Zamítnutí reklamace. Vyhodnocení, jestli zákazník porušil podmínky. Posouzení žádosti. Cokoliv, kde je na konci rozhodnutí, které někoho poškodí a on se proti němu může bránit.

Problém není jen v tom, že se model může splést. Problém je, že neumíte vysvětlit proč. Když se vás úřad nebo zákazník zeptá, na základě čeho jste rozhodli, „model to tak vyhodnotil" není odpověď. A u některých typů rozhodnutí máte podle GDPR povinnost zajistit lidský zásah — automatizované rozhodnutí s právním účinkem není jen technická otázka.

Model tu může připravit podklad. Rozhodnout musí člověk, který se pod to podepíše.

Když nemáte data

„Chtěli bychom předpovídat, kteří zákazníci odejdou." Dobře. Kolik máte historických případů odchodu? „No... asi třicet."

Třicet příkladů není dataset. Je to anekdota. Ať postavíte cokoliv, naučí se to šum a bude to vypadat přesvědčivě, dokud to nenasadíte.

Tohle se netýká jazykových modelů, které přišly natrénované — tam data nepotřebujete. Týká se to všeho, co má předpovídat něco specifického pro vaši firmu.

Citlivá data bez promyšleného rámce

Není to zákaz, je to varování. Když posíláte do externího API zdravotní údaje, mzdy nebo osobní data klientů, musíte vědět: kam to jde, jak dlouho se to tam drží, jestli se na tom někdo neučí a jestli na to máte právní základ.

Ty odpovědi existují a většinou jsou v pořádku — provideři mají režimy, kde se na datech netrénuje. Ale musí to někdo ověřit předtím, ne potom, co se někdo zeptá.

Když nikdo nekontroluje výstup

Tohle je shrnutí všeho výše.

AI funkce, kterou si nikdo neprohlédne, je časovaná bomba. Ne proto, že by model byl špatný, ale proto, že se nemáte jak dozvědět, že se něco pokazilo. Chyby jazykových modelů jsou tiché — výstup vypadá stejně dobře, ať je správný, nebo ne. Právě to je odlišuje od klasického softwaru, který když spadne, tak spadne nahlas.

Pokud na otázku „kdo se na to dívá?" nemáte jméno, projekt není hotový.

Není to o skepsi

Nic z toho neznamená, že AI nefunguje. Znamená to, že funguje na určité úlohy, a když ji natlačíte na ty ostatní, dostanete drahý a nespolehlivý způsob, jak dělat něco, co šlo udělat líp.

Nejlepší AI projekty, jaké jsme dělali, měly jednu společnou věc: velkou část původního zadání jsme z nich vyhodili, protože se to dalo vyřešit normálně.