Wat is model-routing? Per taak automatisch het passende model kiezen. Snel en zuinig waar het kan, grondig waar het moet. Hoe je dat ontwerpt.
Model-routing betekent dat per taak automatisch het passende taalmodel wordt gekozen: een snelle, lichte variant voor eenvoudig werk en een zwaarder, grondiger model voor moeilijke vragen. Zo gebruik je rekenkracht alleen waar het wat uitmaakt. Routing is dus geen keuze tussen modellen, maar het ontwerp dat die keuze per verzoek voor je maakt.
Taalmodellen zijn geen eenheid: er bestaan snelle, lichte varianten die in een oogwenk een mail classificeren, en zware modellen die geruime tijd nadenken over een contractclausule. Beide hebben hun prijs en hun tijd. Routing is het ontwerp dat per verzoek bepaalt welk model het verdient. Op grond van het soort taak, niet van gewoonte of enthousiasme voor het nieuwste model.
De simpelste vorm is een taakindeling: samenvatten, labels zetten en korte antwoorden gaan naar het lichte model; uitgebreide analyse, besluitvoorstellen en lang bronnenmateriaal naar het zware. Verfijning volgt uit meting: waar was het lichte model voldoende, en waar ging het structureel mis? Zo verschuiven de grenzen met de praktijk in plaats van met de mening. En wordt de indeling beter naarmate er meer werk doorheen is gelopen.
Belangrijk: het zware model is niet automatisch het beter, want het is het duurdere en tragere. Wie élke vraag zwaar laat uitvoeren, betaalt vooral voor vertraging. En wie uitsluitend licht kiest, merkt het pas bij de fouten die voorkomen hadden kunnen worden. De kunst zit in het onderscheid, en dat onderscheid is meetbaar, met een vaste toetsset waarmee je beide varianten langs hetzelfde werk laat lopen.
De moeite waard zodra je werkstroom verschillende taaksoorten heeft. Classificatie én analyse, samenvatten én beoordelen. Dan loont het om ze niet allemaal even zwaar te behandelen, want het verschil zit in wachttijd én in verbruik. Ook bij kosten die oplopen is routing de eerste zet: het scheelt zonder dat de kwaliteit voelbaar daalt, mits er gemeten wordt en de grenzen op uitkomsten rusten in plaats van op gevoel.
Niet de moeite waard bij één eenvoudige taak: dan kies je één model en ben je klaar. Er valt niets te routeren. En routing vraagt onderhoud: de modellenkaart verandert, dus de indeling wil periodiek worden nagelopen. Wie dat niet wil regelen, is beter af met één model en een rustige nacht dan met een fijnmazig ontwerp dat niemand meer bijhoudt.
In onze workflows koppelen we taaksoorten aan modellen op basis van wat de taak vraagt: lichte classificatie loopt snel, zwaar analytisch werk krijgt de ruimte, en de grens wordt bewaakt door meting in plaats van veronderstelling. We noemen nooit een specifiek model als ranglijst (modellen wisselen te snel) maar het ontwerp dat per taak kiest, blijft staan wanneer de markt weer schuift.
Met een toets in plaats van een mening: verzamel een set echte voorbeelden uit je eigen werkstroom, laat elk model dezelfde voorbeelden verwerken en vergelijk de uitkomsten op juistheid, tempo en verbruik. Wat daar uit komt, is de indeling voor die taak. En die toets herhaal je periodiek, omdat modellen veranderen. Zo rust de keuze op jouw eigen materiaal in plaats van op een ranglijst van buitenaf, die toch zelden past op het werk dat jij doet.
Nee, en dat is een van de meest voorkomende misverstanden. Een zwaar model is trager en verbruikt meer; bij eenvoudige taken levert dat geen betere uitkomst op, alleen meer wachttijd en hogere kosten. Omgekeerd faalt een licht model op complexe vragen, waar het materiaal lang is en het oordeel subtiel. De vraag is dus nooit welk model het krachtigst is, maar welk model de taak aankan. En voor welke taken een lichtere variant precies hetzelfde bereikt.
Het ontwerp zelf: een indeling van taaksoorten, een regel die per verzoek het model kiest, en een toetsset om de grenzen te controleren. Meerkosten aan licenties of hardware zijn er niet. Routing gebruikt dezelfde modellen, alleen gerichter. De opbrengst zit in verbruik en wachttijd: lichte taken worden sneller en zuiniger terwijl zwaar werk onaangetast blijft. Of dat opweegt hangt af van het volume; bij een handvol taken per dag is routing verspilling, bij doorlopende processen verdient het zichzelf terug.
Ja, en dat is een van de redenen om het te bouwen. Het ontwerp kent per taak een volgorde: het verzoek gaat eerst naar het gekozen model, en loopt bij uitval of vertraagde reactie naar een alternatief, zodat het werk blijft doorlopen terwijl de oorzaak wordt opgezocht. Belangrijk is dat die terugval zichtbaar blijft (gelogd welke route er liep) zodat je later ziet wanneer er is afgeweken en of het alternatief dezelfde kwaliteit leverde. Stil omleiden zonder spoor is geen fallback maar een blinde vlek.
EIGHTY8