Een model moet tijdens tekstgeneratie informatie over de context bijhouden. Een langere context en meer gelijktijdige verzoeken kunnen daardoor extra geheugen vragen, ook als de modelgewichten gelijk blijven.
Context is de werkruimte van een gesprek
Context omvat de tokens die een model bij een uitvoering kan meenemen. Denk aan instructies, eerdere berichten, ingevoegde documenten en de ruimte voor nieuwe uitvoer. Een token is geen vast aantal Nederlandse woorden. Plan je gebruik daarom in de eenheid die je toepassing rapporteert.
Een model kan een bepaalde context ondersteunen terwijl je runtime een andere limiet instelt. Controleer beide. Een groter getal op de modelkaart bewijst niet dat jouw systeem die volledige context bruikbaar kan uitvoeren.
Wat doet de KV-cache?
Bij veel transformer-taalmodellen bewaart de runtime eerder berekende sleutels en waarden. Deze KV-cache kan herhaald rekenwerk besparen. De benodigde ruimte hangt onder meer af van de architectuur, context, cacheprecisie en het aantal gelijktijdige verzoeken.
Verschillende cachestrategieën hebben verschillende afwegingen. Offloaden of quantiseren van cache kan andere kosten of beperkingen meebrengen. Neem daarom geen vaste hoeveelheid extra geheugen per modelparameter aan.
Meet context als afzonderlijke variabele
- Kies één vaste modelvariant en sluit andere zware taken.
- Begin met een beperkte contextinstelling.
- Voer een vastgelegde opdracht uit en meet piekgeheugen.
- Vergroot alleen de context en herhaal de proef.
- Test vervolgens pas een tweede gelijktijdig verzoek.
Noteer ook of de runtime geheugen vooraf reserveert of tijdens gebruik laat groeien. Een kort bericht testen met een grote toegestane context kan iets anders meten dan een werkelijk lange opdracht.
Kies context voor de taak
Voeg alleen de informatie toe die nodig is om de opdracht te beantwoorden. Bij documenten kun je onderzoeken of gerichte fragmenten voldoende zijn. Dat verandert de taakopzet en moet inhoudelijk worden gecontroleerd; het is geen automatische vervanging voor een lange context.
Lees bij geheugenproblemen eerst de ingestelde context en gelijktijdigheid uit. Kies daarna een proef waarbij één variabele verandert. De VRAM-gids helpt je de verschillende geheugenkosten uit elkaar te houden.
Een lang document is een aparte proef
Een korte chatvraag testen zegt weinig over een workflow waarin je documenten toevoegt. Maak daarom een tweede proef met een openbare tekst van representatieve lengte. Zet vooraf vast welke informatie het antwoord moet gebruiken. Controleer de daadwerkelijke invoerlengte in de toepassing, inclusief instructies en eerdere berichten.
Vergelijk een korte en een lange invoer met hetzelfde model en dezelfde uitvoerinstellingen. Noteer totale reactietijd, piekgeheugen en de inhoudelijke fouten. Vergroot pas daarna het aantal gelijktijdige verzoeken. Zo blijft zichtbaar of een verandering door documentlengte of door parallel gebruik ontstaat.
Beoordeel ook of het model de relevante informatie terugvindt. Een uitvoering zonder geheugenfout bewijst alleen dat de taak technisch kon draaien. Ze bewijst niet dat alle informatie correct is benut. Neem daarom enkele controlevragen op waarvan je het antwoord in het document kunt aanwijzen en bewaar ook mislukte antwoorden in je meetlogboek.
Veelgestelde vragen
Maakt een langere context het model altijd beter?
Nee. Context vergroot de beschikbare informatie, maar garandeert niet dat het model die informatie correct gebruikt.
Waarom past hetzelfde model de ene keer wel en de andere keer niet?
Controleer context, gelijktijdige verzoeken, cache-instellingen, overige processen en de gebruikte modelvariant.
Bronnen en controle
Geraadpleegd op 13 november 2026. Softwareondersteuning kan veranderen. Dit is een brongebaseerde gids, geen eigen hardwaretest. Controleer vóór een aankoop de actuele documentatie voor je exacte configuratie.
Lees het redactioneel beleid