Uvažující modely si před odpovědí generují vlastní pracovní postup — mezikroky, které často ani nevidíte. Trvá to déle a stojí víc, zato výrazně méně chybují u úloh na několik kroků.
Pomáhá to u matematiky, kódu, plánování a všude, kde se chyba v prvním kroku propíše do závěru. U přepisu textu nebo shrnutí je to zbytečný náklad.
Pozor na účtování: u API se ty neviditelné mezikroky počítají do výstupních tokenů a do stropu délky odpovědi. Když nastavíte strop příliš nízko, model utne odpověď uprostřed.
Příklad
Otázka „kolik nás bude stát tenhle scénář při 12 000 dotazech měsíčně“ má tři mezikroky. Uvažující model je udělá, rychlý model rovnou hádá.
Kde na to narazíte
Claude — Nejlepší pro kódování, dlouhé texty a bezpečné agenty
ChatGPT — Nejrozšířenější AI — Custom GPTs, hlas, kód, obrázky
DeepSeek — Nejlepší open-weight model za zlomkovou cenu
Souvisí s tím
Jazykový model (LLM) — Jazykový model je program natrénovaný na obrovském množství textu, který k libovolnému zadání dopočítává nejpravděpodobnější pokračování.
Token — Token je kousek textu, na které si model text dělí — zhruba čtyři znaky, tedy asi tři čtvrtiny běžného anglického slova.
Halucinace — Halucinace je odpověď, která zní naprosto samozřejmě, ale není pravdivá — vymyšlená citace, neexistující paragraf, smyšlené číslo.