RAG vs fine-tuning: wat kies je? | EIGHTY8

RAG of fine-tuning? Kennis ophalen uit je documenten versus een model bijtrainen. Waarom RAG meestal eerst komt en wanneer fine-tuning zin krijgt.

RAG haalt kennis op uit je eigen documenten op het moment van de vraag; fine-tuning bijtraint een model zodat het iets anders gaat kán. In de praktijk komt RAG bijna altijd eerst: kennis wijzigt vaak, stijl zelden. Fine-tuning krijgt pas zin als de kennis vast staat en de toon of het formaat anders moet.

RAG maakt een model wijzer over jóuwe werk; fine-tuning maakt het model anders in zíjn werk. De eerste haalt bij elke vraag de juiste passages uit je documenten op, de tweede heeft voorbeelden van jou geleerd en gedraagt zich daarna voortdurend naar dat voorbeeld. Beide zijn legitiem, maar ze lossen verschillende problemen op. En het probleem wordt vaak verkeerd benoemd.

Lees de tabel vooral op de rijen kennis wijzigen en foutgedrag: daar blijkt in de praktijk of een keuze volhoudt. Een organisatie waar prijzen, voorwaarden of procedures wijzigen, wil die wijziging vandaag inzetten en morgen doorwerken. Precies wat een bijgetraind model niet biedt. En een antwoord dat zichtbaar zijn bron noemt, is makkelijker te controleren dan een antwoord dat uit gewichten komt.

Kies RAG als de kennis in documenten zit die jij beheert: handleidingen, contracten, beleid, productinformatie, werkvoorschriften. Een agent die antwoordt met bronvermelding uit die eigen bronnen is controleerbaar, en een nieuwe medewerker die het document bijwerkt, werkt daarmee ook de AI bij. Zonder dat er iemand hoeft te hertrainen.

Dat is de reden dat RAG bij ons vrijwel elke traject opent. De bronnen zijn het echte werk: opruimen, samenvoegen, actualiseren. Dat werk betaalt zich dubbel terug, want het verbetert tegelijk de menselijke zoektocht naar dezelfde informatie.

Kies fine-tuning als het gedrag moet veranderen in plaats van de kennis: een huisstijl in antwoorden die instructie niet vasthoudt, een strak antwoordformaat voor een systeem dat erop verder rekent, of een smalle, stabiele taak waarbij een kleiner bijgetraind model voorspelbaarder presteert dan een groot algemeen model met een lange instructie.

De voorwaarde is hard: de taak moet vast liggen. Beweegt de kennis nog, of is de bronnen-set niet op orde, dan traint je op zand. Daarom komt fine-tuning bij ons pas in beeld nadat een RAG-variant maanden gedraaid heeft en de rest van de onzekerheid zichtbaar gedrag is.

Ja. En de combinatie is het gebruikelijke eindstadium. De vectorwinkel en de ophaalpijplijn blijven de kennis leveren, terwijl een lichte bijtraining zorgt dat antwoorden in huisstijl en formaat vallen. De volgorde is belangrijk: eerst de bronnen, dan het gedrag. Wat een dergelijk traject kost hangt vooral aan de staat van je documenten; we schatten elk traject per project in op nacalculatie, met een heldere offerte vooraf en zonder standaardpakketten.

Waarom komt RAG bijna altijd vóór fine-tuning?

Omdat kennis vaker verandert dan gedrag. Documenten die je vandaag bijwerkt, zijn morgen door de AI te gebruiken; een bijgetraind model moet bij elke inhoudelijke wijziging opnieuw getraind worden. Bovendien levert RAG bronvermelding op, waardoor antwoorden controleerbaar zijn. Pas als de kennis vaststaat en het gedrag nog niet klopt, heeft bijtraining zin. En dan is het een gerichte stap, geen beginpunt.

Hoeveel documenten heb ik nodig om met RAG te starten?

Kleiner dan je denkt. Eén werkstroom met één betrouwbare bron (een handleiding, een conditiënpakket, een FAQ-set) is genoeg om te bewijzen dat het werkt. De kunst zit in de kwaliteit van die eerste bron, niet in de hoeveelheid. We schalen pas op als de eerste werkstroom aantoonbaar antwoorden levert die de medewerkers vertrouwen; van daaruit groeit de kennisbank per onderwerp.

Wat gaat er mis als RAG de verkeerde bron pakt?

Het antwoord klinkt overtuigend maar is gebaseerd op een passage die er niet toe doet. Dat is de klassieke valkuil, en hij is te beheersen: goede metadata, gefilterd zoeken op afdeling of productgroep, en een antwoord dat zijn bron toont zodat de lezer kan controleren. Bij twijfel laat de agent de vraag eerlijk doorverwijzen naar een mens. Liever een doorverwijzing dan een stellige zin op de verkeerde ondergrond.

Kan ik RAG later aanvullen met fine-tuning?

Ja, en vaak is dat de natuurlijke volgende stap. De kennislaag blijft zoals hij is; de bijtraining lost wat de kennislaag niet kan oplopen: vaste stijl, strak formaat, een taak die uit zichzelf goed moet gaan. We meten in zo'n geval eerst wat instructie en goede voorbeelden in de prompt al bereiken, zodat de bijtraining alleen overblijft voor wat aantoonbaar blijft hangen. Zo is de investering begrensd en bewijsbaar.