Das Kontextfenster (Context Window) bezeichnet die maximale Menge an Text – gemessen in Tokens –, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann. Dazu zählen Systemanweisungen, Prompt, hochgeladene Dokumente, bisheriger Gesprächsverlauf und die erzeugte Antwort. Inhalte außerhalb des Kontextfensters kann das Modell nicht mehr einbeziehen; bei sehr langen Dokumenten oder Chatverläufen können deshalb Informationen verloren gehen oder schlechter berücksichtigt werden.