← Slovníček pojmů

Kontextové okno

anglicky: context window

Kontextové okno je maximum textu, které model udrží najednou — zadání, přiložené dokumenty i celou dosavadní konverzaci dohromady. Měří se v tokenech a co se do něj nevejde, model neví.

Velké okno neznamená, že si model všechno pamatuje napříč konverzacemi. Po zavření chatu je pryč všechno, co si nástroj neuloží zvlášť do paměti nebo do projektu.

Dlouhá konverzace se navíc chová jinak než krátká: model má víc materiálu, ve kterém může minout to podstatné. Když se odpovědi začnou zhoršovat, bývá levnější založit nový chat a vložit do něj jen to důležité, než přesvědčovat ten starý.

Příklad

Okno 200 000 tokenů uveze zhruba 250 normostran — celou diplomku i s poznámkami. Přesto se vyplatí vložit jen tři kapitoly, kterých se otázka týká.

Kde na to narazíte

Souvisí s tím