Jak si vybrat jazykový model (LLM) pro firmu

Otázka „který model je nejlepší“ nemá dobrou odpověď, protože je špatně položená. Lepší otázka zní: který model je nejlepší pro tuto úlohu, při tomto rozpočtu a těchto nárocích na soukromí. Odpověď se pak liší projekt od projektu — a často i krok od kroku v rámci jednoho projektu.

Čtyři věci, které rozhodují

• Kvalita na dané úloze: složité uvažování zvládne velký model lépe, ale na třídění či extrakci údajů stačí menší.
• Cena: větší model je násobně dražší za každé volání. Při tisících požadavků denně to není detail.
• Latence: uživatel čekající na odpověď vnímá každou vteřinu. Menší a rychlejší model někdy vyhraje i za cenu o kousek nižší kvality.
• Soukromí a data: kam smějí vaše data jít a co poskytovatel dělá se vstupy, je otázka pro právní oddělení, nejen pro vývoj.

Velký, nebo malý?

V praxi se nám osvědčila kombinace. Levný a rychlý model udělá hrubou práci — roztřídí, vyhledá, připraví podklad. Velký a schopný model nastoupí jen na finální krok, kde se jeho cena vyplatí. Tím dramaticky klesnou náklady bez ztráty kvality tam, kde na ní záleží. Klíč je nezatížit velký model tím, co v pohodě zvládne malý.

Nedívejte se jen na žebříčky

Benchmarky jsou užitečná orientace, ale nic nenahradí test na vašich vlastních datech. Model, který vede v tabulkách, může na vašem typu textu zaostávat za levnější alternativou. Proto u každého projektu uděláme malý eval — sadu reálných příkladů s očekávaným výstupem — a rozhodujeme podle něj, ne podle marketingu poskytovatele.

Zamknout se, nebo ne

Rozhodnutí pro model není manželství na celý život. Stavíme tak, aby se poskytovatel dal vyměnit bez přepsání poloviny aplikace — volání modelu je jeden ohraničený krok, ne cosi roztroušené po celém kódu. Když vyjde lepší nebo levnější možnost, přejdeme na ni za den, ne za měsíc. S jakými technologiemi pracujeme, najdete v přehledu technologií.

Výběr a nasazení modelu je součástí AI podpory. Když potřebujete, aby tok spojoval více modelů a nástrojů, podívejte se na článek o AI orchestrátorech.