Wat zijn tokens? De stukjes tekst waarin een taalmodel rekent. En waarin je betaalt. Waarom tokens de kosten en de lengte van een AI-antwoord bepalen.
Tokens zijn de kleine stukjes tekst waarin een taalmodel zijn wereld verdeelt: korte gangbare woorden zijn vaak één token, langere of zeldzame woorden worden in stukken gehakt. Het model leest, denkt en schrijft in die eenheden. Daarmee bepalen tokens twee dingen die je merkt: hoeveel tekst een model per keer aankan, en hoeveel het gebruik van een model kost.
Voordat een taalmodel je tekst leest, wordt die opgeknipt in tokens: herkenbare brokjes als 'plan', 'ning' of een kort functiewoordje. Nederlands levert door samengestelde woorden en uitgangen gemiddeld meer tokens per woord dan Engels. Eén getal om te wennen: een pagina gewone tekst komt doorgaans uit op honderden tot ruim duizend tokens, afhankelijk van taal en dichtheid.
Het eerste praktische gevolg zit in het context-window: het model kan maar een beperkt aantal tokens per keer omvatten, en daartoe horen je vraag, de meegegeven documenten én het antwoord zelf. Een vraag met een dik dossier ernaast kan dus botsen met die plafond, ook al voelt het antwoord kort. Daarom bestaat chunking: grote documenten worden in stukken verdeeld en alleen de relevante stukken gaan mee.
De tweede gevolg zit in de kosten: modelproviders rekenen per token, voor wat je instuurt en voor wat het model teruggeeft. Een werkstroom die elk gesprek het hele archief meestuurt is daarom duurder dan dezelfde werkstroom die eerst zoekt en alleen de juiste stukken meestuurt. Tokens zijn dus geen abstract detail: ze bepalen hoe je een toepassing ontwerpt. Zuinig met tekst, gericht met context.
Snappen loont zodra je volumes draait of budgetten verantwoordt: bij het schatten van maandkosten, bij het vergelijken van aanpakken (alles meesturen versus eerst zoeken) en bij het uitleggen waarom een antwoord opeens afgekapt raakt. Ook het verschil tussen talen wordt er verklaarbaar door: dezelfde Nederlandse tekst kost meer tokens dan zijn Engelse variant.
Niet nodig is het tot in detail voor dagelijks gebruik: niemand schrijft beter prompts door tokens te tellen. Schrijf duidelijk en compact, en laat het ontwerp (knippen, zoeken, filteren) het zware werk doen. Waar het wél nog terugkomt is bij limieten die applicaties zelf hanteren; daar telt een schatting vaker dan exacte telling.
In elk ontwerp houden we het tokenverbruik bewust laag: documenten worden gefilterd en geknipt voordat ze het model bereiken, vaste instructies worden compact geschreven en herhaald gebruik van dezelfde context wordt niet per keer opnieuw verstuurd. We monitoren het verbruik per werkstroom, zodat je ziet waar het verbruik zit en een rare piek zich meldt. Zo blijft een toepassing voorspelbaar in gebruik en in maandlast, zonder dat jij zelf hoeft te rekenen.
Nee, en het verschil verrast veel mensen. Korte gangbare woorden zijn vaak één token, maar langere woorden worden opgeknipt in brokjes, en Nederlandse samenstellingen en werkwoordsvormen leveren er extra op. Ook leestekens en spaties horen bij tokens. Gemiddeld kom je op meerdere tokens per Nederlands woord. Wie exact wil weten hoe een specifieke tekst verdeeld wordt, kan dat met rekenhulpmiddelen van modelproviders nazoeken. Voor ontwerpbeslissingen volstaat een schatting.
Omdat het context-window de som telt van alles wat per keer meegaat: je vraag, de meegegeven bronnen, de vaste instructies én het antwoord dat het model nog mag schrijven. Die laatste post wordt vaak vergeten: een dik dossier ernaast betekent dat er voor het antwoord weinig ruimte resteert. De oplossing zit in het ontwerp. Alleen relevante stukken meesturen, vaste instructies compact maken, of het gewenste antwoord expliciet begrenzen.
Meestal wel: providers berekenen gebruik op basis van inkomende en uitgaande tokens, met verschillende tarieven per model. Voor een individuele gebruiker is dat onzichtbaar; voor een werkstroom die dagelijks draait loopt het op. Daarom ontwerpen we zuinig: zoek eerst, stuur alleen de juiste stukken mee, en houd vaste instructies klein. Wat dat in jouw situatie per werkstroom betekent, schatten we in de offerte vooraf in. Op nacalculatie, zonder pakketprijzen.
Op drie plekken: stuur minder mee door eerst te zoeken en alleen de juiste stukken aan het model te geven; maak vaste instructies compact door regels te bundelen en overbodige herhaling te schrappen; en beperk het antwoord tot wat de taak vraagt, in vaste vorm. Daarnaast helpt het om per werkstroom te meten in plaats van te gokken. In de praktijk levert 'eerst zoeken' de meeste winst op, omdat documentarchieven meestal het dikste deel van elke aanroep vormen.
EIGHTY8