Wat berekent deze VRAM-calculator?
De theoretische gewichten zijn miljard parameters × 1.000.000.000 × bits ÷ 8 ÷ 1.073.741.824 GiB. We tellen daar jouw zelf gekozen extra ruimte bij op. De marge is beschikbaar geheugen min dit scenario. We rekenen pas aan het einde af op twee decimalen.
Voorbeeld: 8 miljard parameters op 4 bit is ongeveer 3,73 GiB aan theoretische gewichten. Met 2 GiB zelf ingevulde extra ruimte wordt het scenario 5,73 GiB. Bij 12 GiB beschikbaar is de rekenkundige marge 6,27 GiB.
Wat vertelt de uitkomst niet?
Dit is geen modelgebonden geheugenschatting. Werkelijke quantisatie, KV-cache, context, buffers, gelijktijdigheid en architectuur worden niet automatisch herkend. Gebruik het totale opgeslagen parameteraantal; actieve parameters bij een MoE-model zijn niet hetzelfde. Voor gedeeld geheugen en meerdere GPU’s is een afzonderlijke systeemanalyse nodig.
Een positieve marge betekent alleen dat het ingevulde scenario onder je beschikbare geheugen ligt. Ze bewijst geen compatibiliteit, snelheid of daadwerkelijk passen. Lees hoeveel VRAM je nodig hebt, de uitleg over context en de modelgebonden estimator van Hugging Face.