Hoeveel VRAM heb je nodig voor lokale AI?
Bereken een ondergrens voor modelgewichten en begrijp waarom context, KV-cache en runtime extra VRAM vragen. Met voorbeelden in GB en GiB.
KENNISROUTE / 03
Geheugen begrijpen
Leer het verschil tussen modelgewichten, werkgeheugen en context. Zo herken je wat een geheugenberekening wel en niet vertelt.
Meer grip op VRAM en modelgrootte.4 gidsen · Lees in je eigen volgorde
Quantisatie uitgelegd: 4-bit, 8-bit en modelkwaliteit
Wat doet quantisatie met geheugen, kwaliteit en snelheid van lokale taalmodellen? Leer varianten eerlijk vergelijken met je eigen proefopdrachten.
Contextlengte en KV-cache: waarom je VRAM volloopt
Begrijp hoe contextlengte, KV-cache en gelijktijdige gesprekken samenhangen met geheugen. Met een stapsgewijze meetproef.
Meerdere GPU’s voor AI: telt VRAM zomaar op?
Onderzoek wanneer meerdere GPU’s bruikbaar zijn voor lokale AI. Begrijp geheugenverdeling, softwareondersteuning en systeembeperkingen.
PAS HET TOE
Open de bijbehorende tool ↗