Wat is model drift? Een AI-toepassing die langzaam slechter wordt omdat data of modelversies veranderen. Hoe je het ziet en opvangt.
Model drift is het langzame kwaliteitsverlies van een AI-toepassing doordat de wereld verandert: nieuwe documentsoorten, aangepaste processen of een bijgewerkt model passen niet meer bij waar het op getraind of ingericht was. Het slijt zonder foutmelding. EIGHTY8 vangt dat op met vaste toetsen en monitoring, zodat verslechtering zichtbaar wordt vóór de klant hem ziet.
AI-toepassingen slijten zelden met een knal; ze zakken langzaam weg. Vandaag indeelt het model elke factuur correct, volgende maand verschijnt een leverancier met een nieuw sjabloon en mislukt hij af en toe. Een halfjaar later heeft de aanbieder het model ververst en schrijft hij plots andere samenvattingen. Niemand heeft iets gebroken. De omgeving is verplaatst terwijl het model stil stond. Dat verschuiven heet drift.
De twee vormen zijn makkelijk te onderscheiden. Datarift ontstaat aan de binnenkant: het type invoer verandert. Nieuwe formulieren, andere taal, een aangepaste werkwijze. Modelrift komt van buiten: de aanbieder brengt een nieuwe versie uit en je gedrag verschuift onder je handen. Beide eindigen op hetzelfde punt: de uitkomsten kloppen minder, terwijl het systeem groen blijft en niets meldt.
Het middel is geen betere techniek maar regelmaat. Bewaar een klein, vast toetsbestand met vragen en verwachte uitkomsten, en draai dat na elke wijziging. En ook zomaar, af en toe. Tel daar monitoring op van de uitkomsten in de praktijk: hoe vaak weigert het model, hoe vaak grijpt een mens in. Zakken die cijfers, dan is dat je vroege waarschuwing. Zo wordt slijten iets dat je ziet aankomen, niet iets dat een klant eerst vindt.
Drift is een serieus risico bij toepassingen die zelfstandig beslissen of die jaren moeten draaien: classificatie van inkomende documenten, routering van klantvragen, elke werkstroom die een aanbieder-model gebruikt dat zomaar ververst. Hoe langer de levensduur en hoe kleiner de menselijke controle, hoe groter het risico dat een langzame verslechtering ongemerkt tussentijds uit de hand loopt.
Bij een eenmalige analyse of een kort pilot-traject is het risico klein. Er is simpelweg weinig tijd om weg te zakken. En het risico is beheersbaar zodra er controles staan: een mens die steekproeven houdt, uitkomsten die geregistreerd worden, een toetsset die geregeld draait. Drift is geen reden om AI te vermijden; het is een reden om het te onderhouden, zoals je een auto op onderhoud zet in plaats van hem te laten staan.
EIGHTY8 bouwt elke toepassing af met een toetsset en een monitoringvenster: bij elke modelwissel en bij periodieke steekproeven draait hetzelfde bestand, en de uitkomsten worden vergeleken met de vorige ronde. Verandert er iets wezenlijks, dan weet je het van ons vóórdat een klant het merkt. En is een bijsturen een kleine aanpassing in plaats van een verrassingsreparatie.
Niet aan een foutmelding. Die komt er niet. De signalen zijn subtieler: meer gevallen die naar een mens worden doorgeschoven, antwoorden die vreemd beginnen te klinken, een medewerker die 'hij doet het tegenwoordig minder goed' opmerkt. Dat zijn precies de redenen om niet op gevoel te wachten: registreer uitkomsten, houd steekproeven en vergelijk met de vorige ronde. Zo zie je de helling voordat hij steil wordt.
Ja. Aanbieders verbeteren hun modellen doorlopend en een nieuwe versie kan formuleringen, indelingen of toon veranderen. Soms beter, soms anders, soms slechter voor jouw specifieke taak. Daarom hoort bij elke wissel een toetsrun: hetzelfde bestand erin, vergelijk de uitkomsten met de vorige versie. Pin je toepassing waar nodig aan een vast versienummer, zodat een verandering gebeurt op een moment dat jij kiest.
Een hallucinatie is een losse fout: één antwoord dat verzonnen of verkeerd is, vaak direct te herleiden. Drift is een verschuiving: de toepassing werkt nog, maar gemiddeld slechter dan een maand geleden, zonder dat één antwoord opvalt. Een hallucinatie vraagt een correctie op het moment zelf; drift vraagt onderhoud van het geheel. Toetsen, meten en bijstellen. Beide horen thuis in een monitoring die ze uit elkaar kan houden.
In ieder geval bij elke model- of instructiewijziging, en daarnaast op vaste momenten. Hoe vaak hangt af van de kritiekheid van de taak en van hoe snel jouw invoer verandert. Een documenttype dat maandelijks wisselt vraagt een strakker ritme dan een stabiel proces. Belangrijker dan de frequentie is de vergelijking: elke toetsing moet meetbaar tegen de vorige ronde worden gehouden, anders is het een handeling zonder geheugen.
EIGHTY8