Backend
De rekenroute waarmee een toepassing hardware gebruikt, bijvoorbeeld via CUDA, ROCm of Metal.
Batch
Een groep invoeren die samen wordt verwerkt. Het effect op geheugen en doorvoer hangt af van de toepassing.
Context
De tokens die een model tijdens de uitvoering kan meenemen, waaronder instructies, invoer en gespreksgeschiedenis.
CPU
De algemene processor van een computer. Een runtime kan bepaalde AI-taken of modelonderdelen op de CPU uitvoeren.
CUDA
NVIDIA’s platform voor onder meer rekenen op ondersteunde GPU’s. Toepassingen moeten de betreffende route ondersteunen.
Doorvoer
Hoeveel werk een systeem in een bepaalde tijd verwerkt. Vergelijk alleen met duidelijke taak- en kwaliteitscriteria.
Finetunen
Een bestaand model verder aanpassen met trainingsdata. De geheugenbegroting verschilt van alleen uitvoeren.
GB en GiB
Een GB is 1.000.000.000 bytes; een GiB is 1.073.741.824 bytes. Zet waarden om voordat je ze vergelijkt.
GPGPU
General-purpose computing on graphics processing units: een GPU gebruiken voor algemene rekentaken, zoals delen van AI-berekeningen.
GPU
Een processor die veel berekeningen parallel kan uitvoeren. Of een AI-toepassing een specifieke kaart benut hangt af van ondersteuning.
Inference
Een getraind model uitvoeren op invoer om een resultaat te maken.
KV-cache
Opgeslagen sleutels en waarden die bij veel transformer-modellen herhaald rekenwerk kunnen beperken. De cache gebruikt geheugen.
Modelgewichten
De opgeslagen numerieke modelwaarden. Ze vormen maar een deel van de totale geheugenbehoefte bij uitvoering.
MoE
Mixture of experts: een modelarchitectuur waarin niet alle experts voor iedere token actief hoeven te zijn. Actief en opgeslagen parameteraantal verschillen.
Offload
Werk of modelonderdelen naar een andere geheugen- of rekenlocatie verplaatsen, bijvoorbeeld van GPU naar CPU.
Parameter
Een numerieke modelwaarde. Het aantal parameters alleen voorspelt geen kwaliteit of snelheid.
Quantisatie
Een manier om bepaalde numerieke waarden compacter op te slaan met lagere precisie. Methode en ondersteuning bepalen de gevolgen.
ROCm
AMD’s softwareplatform voor ondersteunde rekenhardware. Controleer hardware, systeem en toepassingsversie samen.
Runtime
De software die een model laadt en uitvoert. Instellingen en versie kunnen geheugen en prestaties beïnvloeden.
Token
Een eenheid waarin een taalmodel tekst verwerkt. Een token komt niet altijd overeen met één woord.
Unified memory
Een geheugenarchitectuur waarbij componenten een gedeelde geheugenruimte kunnen gebruiken. Vergelijk die niet rechtstreeks met discrete VRAM zonder de software te bekijken.
VRAM
Geheugen bij een discrete GPU. Modelgewichten, cache, buffers en andere processen kunnen een deel gebruiken.
Verder lezen: VRAM, quantisatie en context en cache.