Hoeveel VRAM heb je nodig voor lokale AI?

VRAM en systeem-RAM hebben een andere rol

VRAM is het geheugen dat bij een discrete GPU hoort. Systeem-RAM is het hoofdgeheugen van de computer. Sommige systemen gebruiken een gedeelde geheugenarchitectuur. Vergelijk zulke hoeveelheden niet zonder te kijken hoe de gekozen toepassing ze kan benutten.

Past een model niet volledig in het beschikbare GPU-geheugen, dan kan een toepassing afhankelijk van ondersteuning delen elders uitvoeren. Dat kan de bruikbare snelheid veranderen. De vraag is daarom zowel “past het?” als “werkt het met mijn vereiste reactietijd?”.

Bereken de ondergrens voor modelgewichten

Voor een vereenvoudigde berekening neem je het aantal opgeslagen parameters maal het aantal bits per parameter en deel je door acht. Bij 8 miljard parameters en 4 bit is dat 4 miljard bytes: 4,00 GB of ongeveer 3,73 GiB. Dit is een rekenvoorbeeld, geen gemeten modelbestand.

bytes = parameters × bits per parameter ÷ 8
GiB = bytes ÷ 1.073.741.824

Een echte quantisatie kan extra informatie opslaan of onderdelen met een andere precisie bewaren. Gebruik bij een bestaand model daarom ook de werkelijke modelbestanden en runtime-informatie. Bij een mixture-of-experts-model is het aantal actieve parameters niet automatisch het aantal opgeslagen parameters.

Wat komt boven op de gewichten?

• Extra gegevens van het modelbestand en de quantisatie.
• Een KV-cache voor context, afhankelijk van modelarchitectuur en runtime.
• Tijdelijke werkbuffers en runtimegebruik.
• Andere toepassingen en beeldschermgebruik op dezelfde GPU.
• Extra ruimte voor gelijktijdige verzoeken of andere taakinstellingen.

Er bestaat geen vast opslagpercentage dat al deze situaties betrouwbaar dekt. De calculator laat je daarom eigen extra ruimte invullen en benoemt het resultaat als scenario. Een positieve marge is geen compatibiliteits- of prestatiegarantie.

Controleer de zwaarste normale opdracht

Begin met de modelvariant die je echt wilt gebruiken. Zet context en gelijktijdigheid op je beoogde waarden en voer een representatieve lange opdracht uit. Meet het piekgebruik, niet alleen het geheugen nadat de taak is afgelopen. Controleer of de toepassing tijdens de proef van GPU naar CPU verschuift.

Laat ruimte voor je overige werk. Bewaar modeltag, softwareversie en meetmethode bij het resultaat. Als je later een model of runtime bijwerkt, voer dezelfde proef opnieuw uit voordat je de oude geheugenbegroting hergebruikt.

Rekentabel: alleen de theoretische modelgewichten

Onderstaande waarden zijn eigen rekenvoorbeelden in GiB, afgerond op twee decimalen. We veronderstellen dat alle genoemde parameters met dezelfde precisie worden opgeslagen. Cache, werkbuffers en quantisatiemetadata zijn uitgesloten.

Zo lees je de tabel: bij 14 miljard parameters op 4 bit is 6,52 GiB de vereenvoudigde gewichtenbegroting. Dit is geen aanbeveling voor een GPU met een bepaalde capaciteit. Je moet de overige geheugenkosten nog bepalen voor je daadwerkelijke model en context.

Een kaart die op papier net boven de gewichten uitkomt kan onvoldoende ruimte voor de uitvoering overhouden. Andersom voorspelt een ruime marge niet de snelheid. Controleer daarom zowel geheugengebruik als het resultaat van een representatieve opdracht. Gebruik dezelfde eenheid voor beschikbare ruimte en berekening.