Wat is trainingsdata? De voorbeelden waarvan een model leert. Waarom je bedrijfsdata meestal NIET hoeft te trainen om AI nuttig te maken.
Trainingsdata is de verzameling voorbeelden waarvan een AI-model leert: teksten, beelden of gevallen waaraan het zijn patronen ontleent. De terugkerende misvatting is dat elk AI-project jouw bedrijfsdata moet 'trainen'. Meestal is het omgekeerd nodig. EIGHTY8 bouwt vrijwel alle oplossingen op bestaande modellen, met jouw gegevens als bron of context, niet als leermateriaal.
Een taalmodel is niet geboren met zijn vaardigheden. Hij heeft geleerd door enorme verzamelingen tekst te zien (webpagina's, boeken, documentatie, code) en bij elke stap te raden wat het volgende woord was. Die voorbeelden zijn de trainingsdata: het leermateriaal waaruit het model zijn begrip van taal, feiten en redeneringen heeft opgebouwd. Wat het model aan kennis heeft, is het patroon uit dat materiaal. Niet een dossier dat hij ergens opbergt.
Hier zit het meest hardnekkige misverstand van het bedrijfsleven: dat een AI-toepassing jouw documenten 'moet leren' voordat hij ermee kan werken. Meestal is dat niet nodig. Een modern model kent de taal van jouw vak al; wat hij niet kent zijn jouw tarieven, procedures en afspraken. Die kom je erin door ze als bron mee te geven bij de vraag (retrieval) of als duidelijke instructie, niet door het model te herbouwen. Je gegevens blijven dan ook gewoon jouw gegevens: ze worden niet in het model gebakken.
Er bestaat ook echt een vorm van trainen op eigen data (fine-tuning) maar die dient een ander doel: het bijstellen van toon, vorm en gedrag van een model voor een zeer specifieke taak, met een verzameling zorgvuldig voorbereide voorbeelden. Voor het laatst, en alleen als de lichtere wegen tekortschieten. De volgorde die wij aanhouden is: eerst bronnen koppelen, dan instructies verscherpen, en trainen als het bewezen nodig is.
Aan de orde is hij zodra je vraagt 'hoe komt het model aan zijn kennis?'. Want het antwoord bepaalt je privacygesprek. De trainingsdata van grote modellen is van de aanbieder; jouw gegevens horen daar niet bij, tenzij je dat expliciet toelaat via instellingen of contract. En hij is aan de orde bij het zeldzame traject waarin fine-tuning werkelijk loont: een taak met een eigen stijl of indeling, en genoeg goede voorbeelden om die te leren.
Niet aan de orde is hij voor de gewone werkstroom: een kennisbank, een samenvattende assistent of een routerende agent leert niets van jouw gegevens. Hij leest ze per vraag. Wie 'wij moeten ons model trainen' zegt, bedoelt bijna altijd 'wij moeten onze documenten doorzoekbaar maken'. Dat laatste is een kwestie van inrichting, geen van leermateriaal, en het is in de praktijk sneller, goedkoper en bijgewerkt op het moment dat je een document aanpast.
Wij trainen geen modellen op klantgegevens en stellen dat ook nooit voor als eerste weg: de standaardopbouw is een bestaand model, jouw documenten als gekoppelde bron, en instructies die het gedrag richten. Waar een taak na bewijs toch een eigen afstemming vraagt, spreken we dat uit met de voorbeelden die ervoor nodig zijn (duidelijk gemarkeerd, apart bewaard, en altijd met de vraag erbij of een lichtere weg niet dezelfde klus klaart).
Vrijwel nooit. Een modern taalmodel kent taal en vakterminologie al; wat hij mist zijn jouw specifieke afspraken, tarieven en procedures. En die geef je mee als bron bij de vraag of als instructie, met retrieval uit je eigen documenten. Voordeel: een bijgewerkt document is meteen het nieuwe antwoord, zonder herbouw. Echte training op eigen data dient andere doelen, zoals toon of een vaste indeling, en komt pas aan de orde als de lichtere wegen bewezen tekortschieten.
Uit enorme verzamelingen publiek beschikbare tekst: webpagina's, boeken, documentatie, code en vergelijkbare bronnen, door de aanbieder verzameld en voorbereid. Daaruit heeft het model patronen geleerd. Geen exacte documenten, maar de structuur van taal en kennis. Wat bedrijven met dit materiaal kunnen en niet kunnen, verschilt per aanbieder en dienst; de bewaar- en trainingsbepalingen van de dienst die jij gebruikt zijn daarom het punt om te controleren, niet de trainingsdata zelf.
Dat hangt af van de instellingen en het contract dat jij met de aanbieder sluit. En het is precies het punt om vooraf te regelen. Veel zakelijke diensten hebben een modus waarin invoer niet voor training wordt gebruikt; die kies je en leg je vast, met de afspraken in de verwerkersovereenkomst. Wat je wilt vermijden is de publieke consumentenvariant zonder die afspraken in een werkstroom met klantgegevens. Wij leggen per project vast welke dienst, welke instelling en welke velden.
Trainingsdata verandert het model: de voorbeelden zijn ingebakken in zijn gewichten en zijn daarna niet meer terug te halen als bron. Een kennisbank verandert het model niet: jouw documenten blijven een aparte, doorzoekbare verzameling, en het model krijgt per vraag alleen de passende stukken te zien. Met bronvermelding. Voor bedrijfskennis is de tweede aanpak bijna altijd beter: actueel, controleerbaar en het model kan laten zien waar het antwoord vandaan kwam.
EIGHTY8