Co je LLM: velký jazykový model bez mystiky

Vysvětlení, které slyšíte nejčastěji, zní: velký jazykový model předpovídá další slovo. Je to pravda a zároveň to nepomáhá. Automatické doplňování v telefonu taky předpovídá další slovo a nikdo od něj nečeká, že mu zrefaktoruje kód.

Rozdíl je v tom, co všechno se model musel naučit, aby to slovo trefil.

Předpovídání jako vedlejší efekt

Představte si, že vaším jediným úkolem je doplnit poslední slovo věty. U „Káva je horká, tak si na ni dám ___" stačí cit pro jazyk. U „Součet 47 a 58 je ___" už musíte umět počítat. U „Tahle funkce padá, protože proměnná je ___" musíte rozumět kódu.

A přesně tohle je jádro věci. Když model trénujete na doplňování slov napříč celým internetem — knihami, dokumentací, diskusemi, kódem — nemůže ten úkol zvládnout, aniž by se cestou naučil gramatiku, aritmetiku, kus faktů o světě a strukturu programovacích jazyků. Schopnosti nejsou cíl. Jsou vedlejší produkt jednoho hloupě znějícího úkolu, opakovaného v obrovském měřítku.

„Velký" ve zkratce LLM neznamená, že jde o velký soubor. Znamená, že má řádově miliardy parametrů — čísel, která se během tréninku doladila. Právě v nich je uloženo všechno, co se model naučil.

Tokeny: model nevidí slova

Text se před zpracováním naseká na tokeny. Token je zhruba kus slova — běžná slova bývají jeden token, delší nebo neobvyklá se rozpadnou na víc.

Zní to jako technický detail, ale vysvětluje to zvláštnosti, na které narazíte. Proč se model občas plete při počítání písmen ve slově? Protože písmena nevidí, vidí tokeny. Proč za API platíte za tokeny, a ne za znaky? Protože tokeny jsou jednotka, se kterou model reálně pracuje. A proč čeština spotřebuje víc tokenů než angličtina na tutéž větu? Protože tokenizér byl trénovaný převážně na anglických textech.

Kontextové okno je pracovní stůl

Kontextové okno je množství tokenů, které model dokáže udržet naráz — otázka, dosavadní konverzace, přiložené dokumenty, systémové instrukce. Všechno dohromady.

Důležité je, že model si mezi voláními nic nepamatuje. Když se vám zdá, že si pamatuje, co jste psali před pěti minutami, je to proto, že mu aplikace celou konverzaci poslala znovu. Každé jedno volání. Model je jako kolega s dokonalou amnézií: pokaždé mu podáte celou složku a on ji přečte od začátku.

To má dva praktické důsledky. Dlouhá konverzace je drahá, protože se posílá celá. A když okno přeteče, něco z něj vypadne — obvykle to nejstarší. Proto se dlouhé chaty občas začnou chovat, jako by zapomněly, na čem jste se domluvili. Nezapomněly. Nikdy to neviděly.

Teplota a proč dvakrát dostanete jinou odpověď

Model nevybírá jedno další slovo. Spočítá pravděpodobnost pro celý slovník a pak z ní vzorkuje. Parametr teplota určuje, jak moc se smí odchýlit od nejpravděpodobnější volby.

Nízká teplota znamená předvídatelné, nudné a konzistentní odpovědi. Vysoká znamená kreativní, překvapivé a nespolehlivé. Na extrakci údajů z faktury chcete nízkou. Na brainstorming názvů kampaně vyšší. Neexistuje správná hodnota, existuje správná hodnota pro danou úlohu.

To zároveň vysvětluje, proč je testování AI funkcí otravné. Tentýž vstup vám dá pokaždé trochu jinou odpověď.

Halucinace nejsou bug

Model nikdy nerozlišoval mezi „vím to" a „zní to pravděpodobně". Celou dobu dělá totéž: hledá nejpřirozenější pokračování textu. Když se zeptáte na fakt, který v trénovacích datech nebyl, model neodpoví „nevím" — protože nejpřirozenějším pokračováním otázky je odpověď, ne přiznání nevědomosti.

Proto vám s absolutní jistotou vymyslí neexistující normu, špatný paragraf nebo knihu, která nikdy nevyšla. Není to lež. Je to statistika dělající přesně to, na co byla postavená.

Zmírnit se to dá — dodat modelu skutečné podklady a nechat ho odpovídat z nich (to je princip RAG), chtít citace, nebo ověřovat výstup kódem. Odstranit se to nedá.

Proč na tom záleží

Většina zklamání z LLM pramení z toho, že lidé čekali databázi a dostali jazykový model. Databáze vám vrátí fakt nebo chybu. Jazykový model vám vždycky vrátí text, který zní dobře.

Když tuhle jednu věc pochopíte, zbytek už dává smysl: proč mu je potřeba dávat kontext, proč mu nevěřit naslepo a proč ty nejlepší AI funkce vypadají nudně — model udělá návrh, člověk ho potvrdí.