Goed prompten of bijtrainen? Wat je met prompts, voorbeelden en tools bereikt vóór je aan fine-tuning denkt. En het moment waarop dat omslaat.
Prompting is instrueren bij elke vraag: voorbeelden, regels en context meegeven. Fine-tuning verandert het model zelf, zodat de instructie niet meer herhaald hoeft te worden. De ladder loopt van scherp prompten, naar tools en bronnen erbij, naar fine-tuning pas als de eerste twee stappen hun grenzen aantoonbaar hebben bereikt.
Prompting vertelt het model bij elke vraag wat je wilt; fine-tuning leert het model vooraf hoe jij het wilt. Tussen die twee zitten nog twee treden die vaak overgeslagen worden: bronnen en tools aan de instructie toevoegen, en de instructie structureren met voorbeelden. Wie die treden overslaat en meteen bijtraint, betaalt training voor wat een herdachte instructie ook had opgelost.
De tabel lees je van boven naar beneden als een ladder: elke rij is een trede die eerst geprobeerd mag worden. Let op de rij consistentie. Dat is het echte kantelpunt. Zolang de uitvoer met een scherpe instructie en twee voorbeelden betrouwbaar klopt, is bijtraining verspilling; zodra dezelfde instructie in de ene week wél en de andere week niet vasthoudt, is er een systeem nodig dat standhoudt.
Kies prompting als het eerste antwoord op de vraag nog niet gesteld is. En dat is vrijwel altijd zo in een eerste traject. Instructies zijn direct te herschrijven, een slechte uitvoer is meteen te herleiden naar een ontbrekende regel, en de kennis van het werk zit bij de mensen die de instructie mee kunnen schrijven.
De doorwerking is het eigenlijke voordeel: een verbeterde prompt is dezelfde middag live. Dat tempo maakt het mogelijk om in weken te ontdekken wat de taak eigenlijk is. Kennis die je daarna nodig hebt, of je nu bijtraint of niet.
Kies fine-tuning als twee dingen tegelijk waar zijn: de taak is stabiel en goed gedefinieerd, én het gedrag blijft weglopen ondanks een instructie waar aantoonbaar alles in zit. Denk aan een vaste briefstijl die elke keer weer bijgeschaafd moet worden, of een antwoordformaat dat een volgend systeem exact nodig heeft.
Ook belangrijk is wat fine-tuning níet is: geen oplossing voor verouderde kennis en geen vervanging van bronnen. Als het probleem is dat het model jouw producten niet kent, zit de oplossing in de kennislaag. Niet in de gewichten.
Dat is het normale eindbeeld: een bijgetraind model dat bij elke taak nog steeds een korte, scherpe instructie en de juiste bronnen krijgt. De training neemt het vaste werk over, de instructie regelt het wisselende werk. We begroten zo'n traject per project, op basis van scope en complexiteit. Er bestaat geen prijslijst waar je een trede op afleest, want welke trede het wordt weet je pas na de eerste weken van prompting.
Omdat bijtraining een investering is op een taakdefinitie die nog niet bewezen is. In de eerste weken leert de organisatie zelf wat de taak is: welke stappen erbij komen, welke uitzonderingen bestaan, welke toon past. Dat leren gebeurt via prompts, want die zijn dezelfde dag te herzien. Begin je met trainen, dan train je op gissingen. En betaal je opnieuw zodra de gissingen bijgesteld worden.
Few-shot betekent dat je in de prompt een paar uitgewerkte voorbeelden meegeeft van vraag naar gewenste uitvoer. Het model imiteert het patroon zonder dat er getraind wordt. Voor taken met een duidelijk formaat (samenvattingen, classificaties, korte brieven) lost dat het probleem meestal al op. Genoeg is het zodra de uitvoer betrouwbaar blijft bij verschillende invoer; pas als dat breekt, is de volgende trede aan de orde.
Aan drie signalen samen: de taak draait maandenlang stabiel, de instructie is al meerdere keren herschreven en bevat alles wat de praktijk leerde, en de restafwijking zit in stijl of formaat in plaats van in inhoud. Dan is bijtraining een gerichte investering. Missen een van de drie, dan is de winst nog in de prompt te halen. Goedkoper, sneller en zonder evaluatietraject. Elke prijs bepalen we op nacalculatie, na die beoordeling.
Het model verandert niet vanzelf, maar zijn omgeving wel: nieuwe productnamen, nieuwe regels, een andere huisstijl. De training blijft dan op oude voorbeelden staan en de afwijking groeit stil. Daarom hoort bij elke bijtraining een evaluatieset en een eigenaar die hem periodiek laat draaien. Zonder dat onderhoud is een bijgetraind model een slijtend gereedschap. Bruikbaar, maar alleen zolang de taak niet verschuift.
EIGHTY8