anglicky: token
Token je kousek textu, na které si model text dělí — zhruba čtyři znaky, tedy asi tři čtvrtiny běžného anglického slova. V tokenech se měří délka zadání i cena za API.
Model nečte písmena ani slova, ale tyhle kousky. Čeština je na tokeny dražší než angličtina: diakritika a skloňování rozpadnou slovo klidně na tři tokeny, kdežto anglické slovo bývá jeden. Stejně dlouhý český text tak stojí zhruba o polovinu víc.
Prakticky to potřebujete vědět ze dvou důvodů: ceníky API se udávají za milion tokenů zvlášť na vstupu a na výstupu, a délka konverzace je omezená v tokenech, ne ve zprávách.
Normostrana textu (1 800 znaků) je česky asi 700–900 tokenů. Při ceně $5 za milion tokenů na vstupu vyjde na necelý půl cent.