Kontextfenster: Definition & Erklärung — Glossar

Was ist das Kontextfenster?

Das Kontextfenster (engl. Context Window) eines Large Language Models (LLM) bezeichnet die maximale Menge an Text — gemessen in Tokens — die das Modell in einer einzigen Anfrage verarbeiten kann. Sowohl die Eingabe (Prompt, bisherige Konversation, bereitgestellte Dokumente) als auch die Ausgabe werden aus diesem Budget bestritten.

Token und Kontextgröße

Ein Token entspricht grob einem Wort oder Wortbestandteil. 1.000 Tokens entsprechen ungefähr 750 deutschen Wörtern oder 3–4 Seiten Text. Frühe GPT-Modelle hatten Kontextfenster von 4.096 Tokens. Moderne Modelle arbeiten mit 128.000 bis 1.000.000+ Tokens — was einem ganzen Roman entsprechen kann. Die Kontextgröße bestimmt, wie viel Dokumentation, wie viele frühere Konversationsrunden oder wie große Code-Dateien ein Modell gleichzeitig berücksichtigen kann.

Praktische Bedeutung

Für Unternehmensanwendungen ist das Kontextfenster ein kritischer Parameter: RAG-Systeme müssen entscheiden, welche Dokumenten-Chunks in den begrenzten Kontext passen. Lange Kundenkonversationen können das Fenster übersteigen, was zu Gedächtnisverlusten führt. Code-Assistenten benötigen große Kontextfenster, um ganze Codebasen zu analysieren. Mit wachsenden Kontextfenstern verschiebt sich auch die Grenze, was ohne RAG direkt im Prompt verarbeitet werden kann.

Long Context vs. RAG

Sehr große Kontextfenster könnten theoretisch RAG überflüssig machen — Dokumente werden einfach vollständig in den Prompt gepackt. In der Praxis bleiben aber Grenzen: Modelle “verlieren” bei langen Kontexten relevante Information in der Mitte (Lost in the Middle-Phänomen), Kosten steigen linear mit der Kontextlänge und RAG bietet präzisere, aktualisierbare Wissensquellen. Beide Ansätze ergänzen sich in hybriden Architekturen.